python文件操作中如何用4G内存读取5G数据?
python文件操作中如何用4G内存读取5G数据?方法一:可以通过生成器,分多次读取,每次读取数量相对少的数据(比如500MB)进行处理,处理结束后在读取后面的 500MB的数据。方法二:可以通过linux命令split切割成小文件,然后再对数据进行处理,此方法效率比较高。可以按照行数切割,可以按照文件大小切割。这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键...
原创
2018-11-15 21:26:01 ·
1648 阅读 ·
0 评论