KNN、Rocchio文本分类

KNN、Rocchio文本分类

• 问题描述
  
  利用训练集（Doc1-Doc7）中的文档构造KNN文本分类模型与Rocchio文本分类模型，对测试集（Doc8-Doc9）进行文本分类，其中抽取tf-idf特征向量时采取‘ltn’的形式处理。
• 文本向量化表示
  首先，按照文档-词语矩阵的表格将文本以词频的形式表示

# train set
d1 = [2, 0, 4, 3, 0, 1, 0, 2]
d2 = [0, 2, 4, 0, 2, 3, 0, 0]
d3 = [4, 0, 1, 3, 0, 1, 0, 1]
d4 = [0, 1, 0, 2, 0, 0, 1, 0]
d5 = [0, 0, 2, 0, 0, 4, 0, 0]
d6 = [1, 1, 0, 2, 0, 1, 1, 3]
d7 = [2, 1, 3, 4, 0, 2, 0, 2]

# test set
d8 = [3, 1, 0, 4, 1, 0, 2, 1]
d9 = [0, 0, 3, 0, 1, 5, 0, 1]

再根据题目中的分类方式，将文档记录到不同的类别列表中

# category
c1 = [d1, d2, d5]
c2 = [d3, d4, d6, d7]
c1_id = [0, 1, 4]
c2_id = [2, 3, 5, 6]

按照题目要求，采用‘t’公式（idf=log(N/df) 其中N为文档数，df为词语的文档频率）表示词语的idf。
1. 经过统计可得词语的df（文档频率）

df:
[4, 4, 5, 5, 1, 6, 2, 4]

1. 利用公式与文档频率（df）得出词语的idf

def get_t_idf(df):
    N = len(c1+c2)
    return math.log10( N / df)

idf: