- 博客(2)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 在Python中使用多进程快速处理数据
数据分片：可以将数据分片处理的任务适合用多进程代码处理，核心思路是将data分片，对每一片数据处理返回结果(可能是无序的)，然后合并。应用场景：多进程爬虫，类mapreduce任务。缺点是子进程会拷贝父进程所有状态，内存浪费严重。import mathfrom multiprocessing import Pooldef run(data, index, size): # data 传入数...
2017-12-12 21:59:06
11667
原创 python中ndarray与dataframe互转
情况1：输入的数据data为list情况2：输入的数据data为dict情况3：输入的数据data为ndarray
2017-12-11 21:54:43
14798
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人