![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
数据分析
AlisaAlbert
数字支配万物流转
展开
-
python多进程读取mysql表
表数据超过百万级别时使用pandas读取数据速度过慢,如果仍然想用pandas读取,可以通过多进程提高效率。同时可以将常用数据保存为pkl文件,以便后续使用。@主要代码实现#按照表中的某字段将表划分为比较均匀的多个子集#本例中需要读取的表中包含了城市字段,#且涉及的城市包含了全国大部分城市,数据分布较为均匀,因此制作了一张省份城市配置表,将数据划分#读取省份-城市配置表,获取城市列表d...原创 2019-05-19 12:02:45 · 3100 阅读 · 1 评论 -
python多进程读取文件
文件夹中文件数较多,每份文件较大的情况下,可以采用多进程读取文件最后附完整项目代码#单进程读取文件夹中的单份文件def read_data(path): start = time.time() with open(path, 'rb') as f: filename = pickle.load(f) end = time.time() prin...原创 2019-05-19 13:55:42 · 6174 阅读 · 0 评论