Python multiprocessing Pool map()实例

最新推荐文章于 2024-06-11 14:34:21 发布

迷心兔

最新推荐文章于 2024-06-11 14:34:21 发布

阅读量4.2k

点赞数 1

原文链接：https://blog.csdn.net/seetheworld518/article/details/49639651/

版权

Python Multiprocessing 专栏收录该内容

17 篇文章 1 订阅

订阅专栏

原因：并行处理某个目录下文件中的字符个数和行数，存入res.txt文件中

# coding=utf-8
import os
import time
import logging
from multiprocessing import Pool

x1, x2 = 3, 7
logging.basicConfig(
    level=logging.INFO,
    format="%(asctime)s [*] %(message)s"
)


def getFile (path):
    # 获取目录下的文件list
    fileList = []
    for root, dirs, files in list(os.walk(path)):
        for i in files:
            if i.endswith('.txt') or i.endswith('.py'):
                file = str(root + "\\" + i).replace("\\", "/")
                fileList.append(file)
                logging.info(file)
    return fileList


def operFile (filePath_):
    # 统计每个文件中行数和字符数，并返回
    filePath = filePath_.replace("/", "\\")
    with open(filePath, "r", encoding="utf-8") as fp:
        content = fp.readlines()
        lines = len(content)  # 行数
        alphaNum = 0  # 字数
        for i in content:
            alphaNum += len(i.strip('\n'))
        return lines, alphaNum, filePath


def out (list1, writeFilePath):
    #     # 将统计结果写入结果文件中
    fileLines = 0
    charNum = 0
    with open(writeFilePath, 'w', encoding="utf-8")as fp:
        for i in list1:
            fp.write(f"行数：{str(i[0])} \t字符数：{str(i[1])} \t文件路径：{i[2]} \n")
            fileLines += i[0]
            charNum += i[1]
        fp.write(f"总行数：{fileLines} \t总字符数：{charNum}")


if __name__ == "__main__":
    # 创建多个进程去统计目录中所有文件的行数和字符数
    startTime = time.time()
    fileList = getFile(r"F:\python")
    pool = Pool(5)
    resultList = pool.map(operFile, fileList)  # 并行
    pool.close()
    pool.join()
    out(resultList, r"F:\python\res.txt")
    endTime = time.time()
    logging.info(f"used time is {endTime - startTime}")

输出：

2019-10-03 21:09:34,917 [*] F:/python/1.py
2019-10-03 21:09:34,918 [*] F:/python/1.txt
2019-10-03 21:09:34,918 [*] F:/python/Barrier栅栏.py
2019-10-03 21:09:34,918 [*] F:/python/condition条件变量.py
2019-10-03 21:09:34,918 [*] F:/python/debug的使用.py
2019-10-03 21:09:34,918 [*] F:/python/res.txt
2019-10-03 21:09:34,918 [*] F:/python/semaphore信号量.py
2019-10-03 21:09:34,918 [*] F:/python/test.py
2019-10-03 21:09:34,918 [*] F:/python/threading暂停功能.py
2019-10-03 21:09:34,918 [*] F:/python/translate模块.py
2019-10-03 21:09:34,918 [*] F:/python/修改模块中文档的注释.py
2019-10-03 21:09:34,918 [*] F:/python/协程与任务.py
2019-10-03 21:09:34,918 [*] F:/python/协程与任务的例子.py
2019-10-03 21:09:34,918 [*] F:/python/dome/models.py
2019-10-03 21:09:34,918 [*] F:/python/dome/session.py
2019-10-03 21:09:34,918 [*] F:/python/dome/spider.py
2019-10-03 21:09:34,919 [*] F:/python/Python并发编程/1. Python进程和线程（包含两者区别）.py
2019-10-03 21:09:34,919 [*] F:/python/Python并发编程/10. threading-Python Queue队列实现线程通信.py
2019-10-03 21:09:34,919 [*] F:/python/Python并发编程/11. threading-Python Event实现线程通信.py
2019-10-03 21:09:34,919 [*] F:/python/Python并发编程/12. threading-Python线程池及其原理和使用（超级详细）.py
2019-10-03 21:09:34,919 [*] F:/python/Python并发编程/13. threading-Python threading Local()函数用法：返回线程局部变量.py
2019-10-03 21:09:34,919 [*] F:/python/Python并发编程/14. threading-Python Timer定时器：控制函数在特定时间执行.py
2019-10-03 21:09:34,919 [*] F:/python/Python并发编程/15. Python schedule任务调度及其用法.py
2019-10-03 21:09:34,919 [*] F:/python/Python并发编程/16. Python os.fork()方法：创建新进程.py
2019-10-03 21:09:34,919 [*] F:/python/Python并发编程/17. multiprocessing-Python Process创建进程（2种方法）详解.py
2019-10-03 21:09:34,919 [*] F:/python/Python并发编程/18. multiprocessing-Python设置进程启动的3种方式.py
2019-10-03 21:09:34,919 [*] F:/python/Python并发编程/19. 多进程编程和多线程编程优缺点.py
2019-10-03 21:09:34,919 [*] F:/python/Python并发编程/2. Python创建线程（2种方式）详解.py
2019-10-03 21:09:34,919 [*] F:/python/Python并发编程/20. multiprocessing-Python使用进程池管理进程.py
2019-10-03 21:09:34,919 [*] F:/python/Python并发编程/21. multiprocessing-Python进程间通信的2种实现方法（Queue和Pipe）.py
2019-10-03 21:09:34,920 [*] F:/python/Python并发编程/22. Python Futures并发编程详解.py
2019-10-03 21:09:34,920 [*] F:/python/Python并发编程/23. Python Asyncio并发编程详解.py
2019-10-03 21:09:34,920 [*] F:/python/Python并发编程/24. Python GIL全局解释器锁详解（深度剖析）.py
2019-10-03 21:09:34,920 [*] F:/python/Python并发编程/25. 深度解析Python垃圾回收机制（超级详细）.py
2019-10-03 21:09:34,920 [*] F:/python/Python并发编程/3. Python线程的生命周期（新建、就绪、运行、阻塞和死亡）.py
2019-10-03 21:09:34,920 [*] F:/python/Python并发编程/4. threading-Python Thread join()用法详解.py
2019-10-03 21:09:34,920 [*] F:/python/Python并发编程/5. threading-Python守护线程及作用（包含2种创建方式）.py
2019-10-03 21:09:34,920 [*] F:/python/Python并发编程/6. threading-Python sleep()函数用法：线程睡眠.py
2019-10-03 21:09:34,920 [*] F:/python/Python并发编程/7. threading-Python互斥锁（Lock）：解决多线程安全问题.py
2019-10-03 21:09:34,921 [*] F:/python/Python并发编程/8. threading-什么是死锁，如何避免死锁（4种方法）.py
2019-10-03 21:09:34,921 [*] F:/python/Python并发编程/9. threading-Python condition实现线程通信（详解版）.py
2019-10-03 21:09:34,921 [*] F:/python/Python并发编程/说明.txt
2019-10-03 21:09:35,261 [*] used time is 0.3469226360321045

res.txt文件：

行数：60 	字符数：1542 	文件路径：F:\python\1.py 
行数：834 	字符数：26082 	文件路径：F:\python\1.txt 
行数：47 	字符数：1184 	文件路径：F:\python\Barrier栅栏.py 
行数：60 	字符数：1368 	文件路径：F:\python\condition条件变量.py 
行数：52 	字符数：1225 	文件路径：F:\python\debug的使用.py 
行数：43 	字符数：2773 	文件路径：F:\python\res.txt 
行数：34 	字符数：785 	文件路径：F:\python\semaphore信号量.py 
行数：1 	字符数：14 	文件路径：F:\python\test.py 
行数：39 	字符数：992 	文件路径：F:\python\threading暂停功能.py 
行数：13 	字符数：310 	文件路径：F:\python\translate模块.py 
行数：63 	字符数：2051 	文件路径：F:\python\修改模块中文档的注释.py 
行数：333 	字符数：8255 	文件路径：F:\python\协程与任务.py 
行数：92 	字符数：2580 	文件路径：F:\python\协程与任务的例子.py 
行数：30 	字符数：578 	文件路径：F:\python\dome\models.py 
行数：68 	字符数：1765 	文件路径：F:\python\dome\session.py 
行数：101 	字符数：2326 	文件路径：F:\python\dome\spider.py 
行数：10 	字符数：286 	文件路径：F:\python\Python并发编程\1. Python进程和线程（包含两者区别）.py 
行数：67 	字符数：2212 	文件路径：F:\python\Python并发编程\10. threading-Python Queue队列实现线程通信.py 
行数：108 	字符数：3204 	文件路径：F:\python\Python并发编程\11. threading-Python Event实现线程通信.py 
行数：124 	字符数：3517 	文件路径：F:\python\Python并发编程\12. threading-Python线程池及其原理和使用（超级详细）.py 
行数：33 	字符数：820 	文件路径：F:\python\Python并发编程\13. threading-Python threading Local()函数用法：返回线程局部变量.py 
行数：29 	字符数：548 	文件路径：F:\python\Python并发编程\14. threading-Python Timer定时器：控制函数在特定时间执行.py 
行数：46 	字符数：1465 	文件路径：F:\python\Python并发编程\15. Python schedule任务调度及其用法.py 
行数：12 	字符数：265 	文件路径：F:\python\Python并发编程\16. Python os.fork()方法：创建新进程.py 
行数：83 	字符数：2070 	文件路径：F:\python\Python并发编程\17. multiprocessing-Python Process创建进程（2种方法）详解.py 
行数：48 	字符数：1016 	文件路径：F:\python\Python并发编程\18. multiprocessing-Python设置进程启动的3种方式.py 
行数：17 	字符数：439 	文件路径：F:\python\Python并发编程\19. 多进程编程和多线程编程优缺点.py 
行数：61 	字符数：1884 	文件路径：F:\python\Python并发编程\2. Python创建线程（2种方式）详解.py 
行数：60 	字符数：2029 	文件路径：F:\python\Python并发编程\20. multiprocessing-Python使用进程池管理进程.py 
行数：66 	字符数：1993 	文件路径：F:\python\Python并发编程\21. multiprocessing-Python进程间通信的2种实现方法（Queue和Pipe）.py 
行数：83 	字符数：2226 	文件路径：F:\python\Python并发编程\22. Python Futures并发编程详解.py 
行数：67 	字符数：1872 	文件路径：F:\python\Python并发编程\23. Python Asyncio并发编程详解.py 
行数：36 	字符数：590 	文件路径：F:\python\Python并发编程\24. Python GIL全局解释器锁详解（深度剖析）.py 
行数：147 	字符数：2965 	文件路径：F:\python\Python并发编程\25. 深度解析Python垃圾回收机制（超级详细）.py 
行数：62 	字符数：1645 	文件路径：F:\python\Python并发编程\3. Python线程的生命周期（新建、就绪、运行、阻塞和死亡）.py 
行数：22 	字符数：563 	文件路径：F:\python\Python并发编程\4. threading-Python Thread join()用法详解.py 
行数：22 	字符数：614 	文件路径：F:\python\Python并发编程\5. threading-Python守护线程及作用（包含2种创建方式）.py 
行数：8 	字符数：123 	文件路径：F:\python\Python并发编程\6. threading-Python sleep()函数用法：线程睡眠.py 
行数：101 	字符数：3098 	文件路径：F:\python\Python并发编程\7. threading-Python互斥锁（Lock）：解决多线程安全问题.py 
行数：82 	字符数：2193 	文件路径：F:\python\Python并发编程\8. threading-什么是死锁，如何避免死锁（4种方法）.py 
行数：97 	字符数：2904 	文件路径：F:\python\Python并发编程\9. threading-Python condition实现线程通信（详解版）.py 
行数：5 	字符数：81 	文件路径：F:\python\Python并发编程\说明.txt 
总行数：3366 	总字符数：94452

迷心兔

关注

1
点赞
踩
3

收藏

觉得还不错? 一键收藏
0
评论
Python multiprocessing Pool map()实例

原因：并行处理某个目录下文件中的字符个数和行数，存入res.txt文件中# coding=utf-8import osimport timeimport loggingfrom multiprocessing import Poolx1, x2 = 3, 7logging.basicConfig( level=logging.INFO, format="%(asct...
复制链接

扫一扫