- 博客(2)
- 资源 (3)
- 收藏
- 关注
原创 在Python中使用多进程快速处理数据
数据分片:可以将数据分片处理的任务适合用多进程代码处理,核心思路是将data分片,对每一片数据处理返回结果(可能是无序的),然后合并。应用场景:多进程爬虫,类mapreduce任务。缺点是子进程会拷贝父进程所有状态,内存浪费严重。import mathfrom multiprocessing import Pooldef run(data, index, size): # data 传入数...
2017-12-12 21:59:06 11668
原创 python中ndarray与dataframe互转
情况1:输入的数据data为list情况2:输入的数据data为dict情况3:输入的数据data为ndarray
2017-12-11 21:54:43 14798
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人