Python：使用Pool实现并行化计算

最新推荐文章于 2023-09-01 10:00:02 发布

susisheng

最新推荐文章于 2023-09-01 10:00:02 发布

阅读量735

点赞数

文章标签： python

本文链接：https://blog.csdn.net/susisheng/article/details/131838662

版权

文章介绍了在复现Gzip+KNN文本分类论文时，如何利用Pool函数进行并行化计算。通过withPool创建进程池，对test_data和test_label应用partial函数固定的knn_exp_ins.combine_dis_acc_single函数，生成包含预测结果和正确标签的元组列表。

摘要由CSDN通过智能技术生成

在复现Gzip+KNN实现文本分类的论文，代码里面使用了Pool函数完成并行化计算。之前接触的比较少，结合chatGPT看懂了hh，记录一下
原代码

with Pool(5) as p:
	pred_correct_pair = p.map(partial(knn_exp_ins.combine_dis_acc_single, k, train_data, train_label), test_data, test_label)

with Pool(5) as p
创建了一个Pool对象，并指定了最大进程数为5。
with语句可以确保在使用完Pool后，自动释放相关资源。
pred_correct_pair = p.map(...)
在Pool对象上调用map方法。map方法的作用是将函数应用于一个可迭代的数据集合，并返回结果。
在这里，函数是partial(knn_exp_ins.combine_dis_acc_single, k, train_data, train_label)，数据集合是test_data, test_label。
partial(knn_exp_ins.combine_dis_acc_single, k, train_data, train_label)
偏函数（partial function），通过partial函数可以固定某些函数参数，从而得到一个新的函数。
在这里，knn_exp_ins.combine_dis_acc_single函数的前三个参数已经被固定为k, train_data, train_label。
p.map实际上在并行运行的时候会调用knn_exp_ins.combine_dis_acc_single函数，其实际调用形式将类似于knn_exp_ins.combine_dis_acc_single(k, train_data, train_label, test_data[0], test_label[0])

其中test_data[0]和test_label[0]分别是test_data和test_label中的第一个元素，相当于对测试数据中的每个数据进行预测。
pred_correct_pair：一个包含多个元组的列表，每个元组包含预测结果和正确标签，类似于[(pred1, correct1), (pred2, correct2), …]，其中pred1, pred2, …是对应测试数据的预测值，correct1, correct2, …是对应测试数据的正确标签。

总结：pred_correct_pair：这将是一个包含多个元组的列表，每个元组包含预测结果和正确标签，类似于[(pred1, correct1), (pred2, correct2), …]，其中pred1, pred2, …是对应测试数据的预测值，correct1, correct2, …是对应测试数据的正确标签。