使用进程池处理数据

        使用进程池处理df数据，遇到了好几个坑，先上代码:

# 参数顺序要注意，最后一个参数才是迭代的行数据
def test_process(total, line):
    dayi_id = line['id']
    print(f"当前处理进度：{1}/{total}，dayi_id: {dayi_id}")


if __name__ == '__main__':
    arr = [
        {"id": 4248240, "title": "中国保险监督管理委员会陕西监管局关于中华联合财产保险股份有限公司西安中心支公司开业的批复"},
        {"id": 4248245, "title": "深圳证券交易所关于为常州科研试制中心有限公司2012年中小企业私募债券提供转让服务有关事项的通知"},
        {"id": 4248254, "title": "广东省律师协会关于组建广东省律师协会涉外法律服务讲师团的通知"},
        {"id": 4248256, "title": "湖南保监局关于熊鹰任职资格的批复"}
    ]
    df = pd.DataFrame(arr)
    # process_in_threadpool(df.iterrows(), 2, test_process, len(arr))
    # 将 DataFrame 转换为字典数组
    array_data = df.to_dict(orient='records')
    # 使用偏函数传多个参数，将函数名与参数包起来
    func = partial(test_process, len(arr))
    # processes=2 可指定进程个数
    with Pool(processes=2) as pool:
        pool.map(func, array_data)

以下是踩的坑及注意事项：
1、_pickle.PicklingError: Can't pickle <class 'pandas.core.frame.Pandas'>: attribute lookup Pandas on pandas.core.frame failed
解决办法：最开始使用df.iterrows()，但是报错：

TypeError: test_process() missing 1 required positional argument: 'line'

猜测可能是因为df.iterrows()返回一个包含索引和行数据的元组，也就是返回两个变量导致的；

所以换成了df.itertuples(index=False)，然后就报上面的错，
报这个错的原因是由于 Python 的 multiprocessing 模块无法序列化 Pandas DataFrame 对象而导致的；那就使用数组呗，将df转为字典数组，

array_data = df.to_dict(orient='records')

再对数组应用进程池，问题解决。

2、进程池传递多个参数

解决办法：默认情况下，处理单个进程作业的函数会接受一个参数，即迭代列表的当前元素。那如果需传递其它额外参数，那就得使用partial（偏函数）将处理单个进程作业的函数与参数包起来，示例中就是 func = partial(test_process, len(arr)) 这一行，函数名要放在第一个，后面依次按需放多个参数。test_process接受参数的时候也要注意，最后一个参数才是迭代列表的当前元素，前面的是额外的传参，举个例子：
func = partial(test_process, param1, param2, param3)
其中test_process为处理单个进程作业的函数，param1， param2，param3分别为额外的传参；

那到test_process接收的时候应该这样写：

def test_process(param1, param2, param3, line)
其中param1， param2，param3分别对应上面的传参，line对应的当前行的数据。