python多线程处理list数据

ErvinBao

已于 2024-06-19 23:33:37 修改

阅读量434

点赞数 4

分类专栏：日常记录文章标签： python 学习

于 2024-06-13 09:51:58 首次发布

本文链接：https://blog.csdn.net/ErvinBao/article/details/139642097

版权

日常记录专栏收录该内容

5 篇文章 0 订阅

订阅专栏

1.创建一个work_get_result(text)函数

2.在main函数中创建一个ThreadPoolExecutor并提交n个任务到线程中

num_sample =len(text_list)
executor = concurrent.futures.ThreadPoolExecutor(max_workers=min(5,num_sample))
to_do_queue=list()
for idx,content in enumerate(text_list):
    to_do_queue.append(executor.submit(work_get_result, content))
result_pred_list=list()
for idx,future in enumerate(concurrent.futures.as_completed(to_do_queue)):
    pred_res = future.result()
    result_pred_list.append(pred_res)
    del pred_res
    to_do_queue.remove(future)
del to_do_queue,executor