python多进程文件处理（二）

最新推荐文章于 2023-04-22 09:17:21 发布

最新推荐文章于 2023-04-22 09:17:21 发布 · 598 阅读

文章标签：

#大数据

python 专栏收录该内容

24 篇文章

订阅专栏

该博客演示了如何在Python中使用多进程处理文件数据，通过`multiprocessing.Pool`实现并行读取和处理文本文件的每一行，不依赖文件分割，提升了处理效率。示例代码展示了读取文本文件，对每行数据进行预定义的处理（如添加前缀），然后使用多进程池并发执行处理，并最终打印结果。

如何在python中不用分割文件的使用多进程完成文件处理，换句话说，和单进程跑程序一样的完成处理，具体demo 如下

def read_line(line):
    """
    处理单行数据,业务逻辑代码，该demo在每行开始添加hello字段
    """
    line = "{}\t{}".format("hello",line)
    return line
    

#读取输入信息
lines = []
with open("demo.txt",'r',encoding="utf-8") as fr:
    for line in fr:
        line = line.strip()
        lines.append(line)


from multiprocessing import Pool

with Pool(processes=10) as pool:

    ret = pool.map(read_line,lines)

print(ret)

先把数据读入list ，再多进程处理，最后根据自己的要求完成结果的打印