python实际应用5-从大文件中读取指定大小或记录数

@2019年1月17日

• 背景

  由于工作性质，经常面对不同的问题，某些场景下SQL+Excel、常用办公软件不能处理，这时到网上找一些案例，自己动手用python处理。后续，借此博客记录比较典型的处理过程。
  后续，陆续实际处理的问题，如

• 合并PDF(https://blog.csdn.net/weixin_44230447/article/details/85231757)

• 拆分PDF(https://blog.csdn.net/weixin_44230447/article/details/85232235)

• 敏感字段MD5脱(https://blog.csdn.net/weixin_44230447/article/details/85233266)

• 从非架构化的大文本文件中提取指定条件的记录（https://blog.csdn.net/weixin_44230447/article/details/85233565）

• 从大文件中读取指定大小或记录数

• 需求
  为什么要从“从大文件中读取指定大小或记录数”，最近年底要测试一个服务器与各分公司之间的网速，需要一系列测试基准文件，如100MB、1GB、5GB等固定大小的文件，如100条和1000万条的记录。手里正好有一个6GB大小2000余万的数据。在“从非架构化的大文本文件中提取指定条件的记录”中的程序基础上，修改运行后，发现readlines 方法无法一口读下上GB的文件，readline、read()也不好用，具体问题见上一篇博客，最后用如下方法解决。

• Python 程序
  程序1：从大文件中读取指定数量记录后写入一个文件。
  其中，第9~10行是关键，一行行读入。

#导入原始文件，抽取部分记录
#load data from file
#从txt文件导入数据，
def load_data(in_filename,out_filename,skip,out_extract_rows):
    out_file= open(out_filename,'a')
    i=0
    j=0
    k=0
    with open(in_filename, 'r') as in_file: