文本分类（2）——取特征词构建词典

最新推荐文章于 2024-08-04 23:46:49 发布

_年_

最新推荐文章于 2024-08-04 23:46:49 发布

阅读量4.4k

点赞数

分类专栏：作业?? 文章标签：文本分类特征词

本文链接：https://blog.csdn.net/qq_34452281/article/details/84555656

版权

本文探讨了在文本分类中如何提取特征词，包括使用tf-idf和chi方法。介绍了sklearn库的使用，以及每类文本构建独立特征词典的策略。还提到了CHI*TF-IDF和IG等其他特征选择方法，并分享了在实现过程中遇到的计数问题及解决方案。

摘要由CSDN通过智能技术生成

001 常见特征词提取

tf-idf http://www.ruanyifeng.com/blog/2013/03/tf-idf.html
chi https://blog.csdn.net/hubin232/article/details/81272126 【比较新】

sklearn里面算的是每个文本的tdidf向量,max_features是对所有词得频率进行降序排序只取前max_features个词。加上之前参考了 https://github.com/chenfei0328/BayesProject
思路就被局限在了所有文本建一个总的矩阵再进行降维，后来被大佬提点，才转了思路。

002 实现

我们做的时候的大致思路：

每类文本利用tf-idf提取一定数目的特征词，组成该类文本的特征词典
所有的文本算CHI提取特征词

（听老师说还有用CHI*TF-IDF来降维的，别的区特征的方法比如IG也可以）
写的时候计数老有问题，同一类的数据是一样的。发现是拷贝和引用没有弄清楚。

统计词频

每类文档的数目懒得贴了

#统计词频和文档数,考虑词频来计算CHI
#wroddict={tf:出现次数；total:该类总单词数；idf:出现的文档数目}
import json
import os
from collections import Counter
import time
def count_words(cut_path):
    cate=os.listdir(cut_path)
    wordDict={'total':{}}
    for i,category in en