python + 多进程

1. pandas apply 函数 实现多进程的示例讲解   

借助 joblib 库，这个库为python 提供了一个非常简洁方便的多进程实现方法

- 首先简单介绍 pandas 中的分组聚合操作 groupby。

- 然后简单介绍 joblib 的使用方法。

- 最后，通过一个去停用词的实验详细介绍如何实现 pandas 中 apply 函数多进程执行。

写的很有用，适合处理一行行统一操作那种代码。

额外收获的经验：对于两张表互相比对的问题，可以将其中一张表变形成dictionary，利用key和value来减少重复的查表操作。

具体而言。

举例：将一段Text中，属于stopWord表中的词都删掉。

          做法：首先，遍历Text，统计成词频表WordCount，表中key为词，value为这个词出现的次数。然后，遍历stopWord表，将每一个元素作为WordCount的key，并将value改为-1. 最后再遍历Text，将value不为-1的词保留。

 

2. python--multiprocessing多进程总结

multiprocessing    start(), run(), join()       Lock/Event/Semaphore/Condition类

主要用pool类