KNN、Rocchio文本分类
- 问题描述
利用训练集(Doc1-Doc7)中的文档构造KNN文本分类模型与Rocchio文本分类模型,对测试集(Doc8-Doc9)进行文本分类,其中抽取tf-idf特征向量时采取‘ltn’的形式处理。 - 文本向量化表示
首先,按照文档-词语矩阵的表格将文本以词频的形式表示
# train set
d1 = [2, 0, 4, 3, 0, 1, 0, 2]
d2 = [0, 2, 4, 0, 2, 3, 0, 0]
d3 = [4, 0, 1, 3, 0, 1, 0, 1]
d4 = [0, 1, 0, 2, 0, 0, 1, 0]
d5 = [0, 0, 2, 0, 0, 4, 0, 0]
d6 = [1, 1, 0, 2, 0, 1, 1, 3]
d7 = [2, 1, 3, 4, 0, 2, 0, 2]
# test set
d8 = [3, 1, 0, 4, 1, 0, 2, 1]
d9 = [0, 0, 3, 0, 1, 5, 0, 1]
再根据题目中的分类方式,将文档记录到不同的类别列表中
# category
c1 = [d1, d2, d5]
c2 = [d3, d4, d6, d7]
c1_id = [0, 1, 4]
c2_id = [2, 3, 5, 6]
按照题目要求,采用‘t’公式(idf=log(N/df) 其中N为文档数,df为词语的文档频率)表示词语的idf。
1. 经过统计可得词语的df(文档频率)
df:
[4, 4, 5, 5, 1, 6, 2, 4]
- 利用公式与文档频率(df)得出词语的idf
def get_t_idf(df):
N = len(c1+c2)
return math.log10( N / df)
idf: