python实现文本文件转二进制文件(二进制序列化)

有一个项目,需要读大量的数据,数据都是txt格式的,读的过程比较慢,为了加快读取的速度,需要将文本文件转为二进制文件。

python代码如下;

#coding:utf-8
#! /bin/python
import os
import sys
import os.path
import pickle
import  struct
dirroot = "F:\\feature_train\\"
newdirroot="F:\\new\\"
for dirnames in os.listdir(dirroot):
    print ("进入文件夹:" )
    #print dirnames
    for dirname in os.listdir(dirroot+dirnames):
        #print dirname
        if dirname.split('.')[1]!='txt':
            continue
        file=open(dirroot+dirnames+'\\'+dirname,'r')
        filename=dirname.split('.')[0]+'.dat'
        if not os.path.exists(newdirroot+dirnames+'\\'):
            os.makedirs(newdirroot+dirnames+'\\')
        fileNew=open(newdirroot+dirnames+'\\'+filename,'wb')
        lines=file.readlines()
        

        for line in lines:
            curLine=line.split(' ')
            for i in range(len(curLine)):
                if len(curLine[i])==0:
                    continue
                parsedata = struct.pack("f",float(curLine[i]))
                fileNew.write(parsedata)
            fileNew.write('\n')

        fileNew.close()
        file.close()


使用方法:修改dirroot为要读取的文件夹的目录路径,程序会遍历所有的文件夹,读取其中的txt文件。根目录下都是文件夹。

    newdirroot为新的目录的路径,程序运行完以后会生成跟原来一样的目录和dat的二进制文件

                    txt文件里为float的格式的数据,可以根据情况修改。

C++ 读取二进制文件:

#include <iostream>
#include <fstream>
#include<stdio.h>
using namespace std;

int main(int argc, char** argv)
{
printf("www\r\n");
 //std::cout<<"www"<endl;
  
  float rfea[1024]={0};

	FILE *fp;
	
	fp = fopen("001.dat", "rb");
	if (fp != NULL){
		fread(rfea, 1024*sizeof(float), 1, fp);
		fclose(fp);
	
	}
	int i=0;
  for (i=0;i<30 ;i++ )
  {
	printf("%f\r\n",rfea[i]);
  }
  return 0;
}


  • 10
    点赞
  • 36
    收藏
    觉得还不错? 一键收藏
  • 6
    评论
评论 6
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值