Python | 多线程处理数据并写入到文件,但数据内容存在残缺混乱的情况。

通过Python的「threadpool」模块进行多线程处理数据。

# 定义了一个线程池,最多可以创建60个线程
pool = threadpool.ThreadPool(60)
# 调用makeRequests创建了要开启多线程的函数,以及函数相关参数和回调函数
requests = threadpool.makeRequests(some_callable, list_of_args)
# 将所有要运行多线程的请求扔进线程池
[pool.putRequest(req) for req in requests]
# 等待所有的线程完成工作后退出
pool.wait()

但是在将处理完的数据写入到文件的过程中,文件出现了少量残缺混乱的数据这一个情况。然后,根据网上的资料知道了解决办法。

from multiprocessing import Pool
import time
 
# 在Callback中负责将数据写入
def mycallback(x):
  with open('123.txt', 'a+') as f:
    f.writelines(str(x))

# 执行函数
def sayHi(num):
  return num
 
if __name__ == '__main__':
    e1 = time.time()
    # 可以设置线程数量
    pool = Pool()
    for i in range(10):
        pool.apply_async(sayHi, (i,), callback=mycallback)
    pool.close()
    pool.join()
    e2 = time.time()
    print float(e2 - e1)

  • 1
    点赞
  • 13
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值