- 博客(2)
- 收藏
- 关注
RSS订阅原创 python多进程读取文件
文件夹中文件数较多，每份文件较大的情况下，可以采用多进程读取文件 最后附完整项目代码 #单进程读取文件夹中的单份文件 def read_data(path): start = time.time() with open(path, 'rb') as f: filename = pickle.load(f) end = time.time() prin...
2019-05-19 13:55:42
6170
原创 python多进程读取mysql表
表数据超过百万级别时使用pandas读取数据速度过慢，如果仍然想用pandas读取，可以通过多进程提高效率。同时可以将常用数据保存为pkl文件，以便后续使用。 @主要代码实现 #按照表中的某字段将表划分为比较均匀的多个子集 #本例中需要读取的表中包含了城市字段， #且涉及的城市包含了全国大部分城市，数据分布较为均匀，因此制作了一张省份城市配置表，将数据划分 #读取省份-城市配置表，获取城市列表 d...
2019-05-19 12:02:45
3093
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人