c++读取文件中的数据_使用python来读取超大型文件数据

在实际应用中，几乎所有的数据分析工作都是从数据读取开始的，如果数据量太大导致数据文件读取失败了，这样后续的工作就没有办法进行了，在机器自身硬件内存限制的情况下，当文件量过大的时候直接使用read等函数来进行操作的时候就会报错，这里就需要采取一定的策略来尽可能地避免这样的问题产生，今天的工作中就遇上了这样的问题，需要处理的数据文件一共是6.86GB，电脑内存是8GB的，读取的时候就报错了，用read或者readlines函数都是需要将整个文件都读进内存中去的，这样就不行了，查了一些资料，也简单总结了一下，把处理方法在这里介绍一下，具体如下：

#!usr/bin/env python#encoding:utf-8  '''__Author__:沂水寒城功能： 使用python来读取超大型文件 在机器自身硬件内存限制的情况下，当文件量过大的时候直接使用read等函数来进行操作的 时候就会报错，这里就需要采取一定的策略来避免这样的问题产生''' import linecache   def readFunc1(data='test.txt'): ''' 通过指定单次读取的数据大小长度 ''' myfile=open(data) while True: block=myfile.read(1024) if not block: break else: print block myfile.close()   def readFunc2(data='test.txt'): ''' 设定每次只读取一行 ''' myfile=open(data) while True: line=myfile.readline() if not line: break else: print line myfile.close()  def readFunc3(data='test.txt'): ''' 利用可迭代对象file，这样会自动的使用buffered IO以及内存管理 ''' with open(data,'r') as myflie: for line in myflie: if not line: break else: print line  def readFunc4(data='test.txt'): ''' 借助于第三方模块 linecache ''' #读取全部数据 all_text=linecache.getlines(data) #读取第二行数据，要注意linecache的读取索引是从1开始的，而不是从0开始的 text=linecache.getline(data, 2) print 'line 2: ',text  if __name__=='__main__': readFunc1(data='test.txt') readFunc2(data='test.txt') readFunc3(data='test.txt') readFunc4(data='test.txt')

部分结果如下：

{"11-06": {"temperate": {"day": {"today_temperate": "10℃