【模板】Python多进程文件处理

人生苦短，所以用了Python，但是Python慢啊，所以依旧苦短。好在可以开n倍加速早点阶数这无聊的等待时间。

在NLP任务中经常会遇到对大文本进行处理的任务，这些任务包括但不限于：

• 分词
• 词性标注
• 词频统计（大名鼎鼎的WordCount）
• 关键词提取
• 大小写转换（当然这个bash命令更方便了，放在这里只是为了凑数:）

为了方便描述，就用task(line)笼统地表示处理这些任务的函数吧，line是每一行的句子。

在常规使用Pythn的时候，我们会打开一个文件然后一行一行地处理：

with open(file, encoding="utf8") as f:
    for line in f:
        task(line)

但是这个方式的处理速度是十分感人的，单进程的处理使得本身就已经很慢的Python只能在处理小文本的时候发挥优势，真正做到了一核有难，八核围观。

那么还有一种方法就是使用多核加速文件读取速度了。在C++、Java等语言中发挥多核优势可以选择用多线程或多进程，特别是多线程能共享内存，只要保证了线程安全就是一种加轻量化的加速方案。

但是Python一般会因为GIL（Global Interpreter Lock）导致多线程速度反而更慢，那么就只剩下多进程了。

经过一段时间的摸索核实践，我总结出一个使用多进程加速处理文件的模板，在实践中已经验证了其可行性。主要思想和Map-Reduce类似。

需要用到的库有这些：

import logging