Linux 大文件文本处理

前言：

   最近项目在做数据分析，需要接入大量的客户数据；理论上如果我直接访问对方数据库不会慢的，但是对方不允许我们直接访问，要他们推送给我们，一个mysql数据库做中转，这中间写入mysql，我从mysql 读取，速度慢太多了。因此考虑历史数据通过文件发送给我们。综合考虑采用方案为实时数据采用推送，历史数据采用文件一次性给我们。这就带来了一个问题，历史数据有100G。直接读取，内存受不了。按行读取处理太慢。

问题描述：

     由于我的要进行数据处理，我想通过pandas 做一个数据的筛选和预处理，所以我的文件想写入的是pandas，使用pandas模块来读取文件。直接读取会卡死机器。文件有70G大小。

解决方案：