读取大数据文件并写入postgresql的各种执行效率对比
数据量为一周的数据,总共有"9515903"条
01.单进程计算单个文件并马上导库,反复循环。总需要耗时867.717042459
02.尝试多进程读取每个数据,再合并数据,写库。总需要耗时442.614129279秒。
其中数据读取时间为214.04秒,数据合并时间为241.19秒
03.尝试多进程读取每个数据,然后在进程内写库(未成功的写库)
04.设置一个...
原创
2020-04-23 14:13:27 ·
1747 阅读 ·
0 评论