multiprocessing 多进程并发，提高爬虫效率

import multiprocessing  # 多进程并发

# 使用进程池
if __name__ == "__main__":
    pool = multiprocessing.Pool(processes=4)  # processes=4是最多并发进程数量。
    for files in filename:
        lunjin = 'F:\数据提取\yangben\A101_cat toys_1.txt'    # 文件路径
        #   GetFileInfo是要执行的行数，
        pool.apply_async(GetFileInfo, (lunjin, ))  
    pool.close()
    pool.join()