- 收集数据
- 数据集。如果是已经被人做成数据集了,这就省去了很多麻烦事
- 抓取。这个是 Python 做得最好的事情,优秀的包有很多,比如 scrapy,beautifulsoup 等等。
预处理
特征提取
- Bag-of-Words
- bi-gram 和 tri-gram 以及更高的 n-gram 模型
- TF-IDF。sklearn 里面有。
- Hashing!
- 训练模型
- 分类,情感分析等。sklearn 里面很多方法,pattern 里有情感分析的模块,nltk 中也有一些分类器。
- 主题发现
NMF
(Online) Latent Dirichlet Allocation
word2vec - 自动文摘
- Draw results
- Matplotlib
- Tag cloud
- Graph
用 Python 做文本挖掘的基本流程
最新推荐文章于 2024-06-09 00:06:17 发布