tf_idf分析

Tf：term frequency:词的频率 出现的次数
idf：逆文档频率inverse document frequency log（总文档数量/该次出现的文档数）

from sklearn.feature_extraction.text import TfidfVectorizer
import jieba

str1= "今天很残酷，明天更残酷，后天很美好，但绝对大部分是死在明天晚上，所以每个人不要放弃今天。"

str2 = "我们看到的从很远星系来的光是在几百万年之前发出的，这样当我们看到宇宙时，我们是在看它的过去。"

str3 = "如果只用一种方式了解某样事物，你就不会真正了解它。了解事物真正含义的秘密取决于如何将其与我们所了解的事物相联系。"

def cutword():
    #worx是一个生成器，可以被迭代输出，但不能直接输出
    #jieba.cut(str)作用是将字符创str分词之后用一个生成器
    wor1 = jieba.cut(str1)
    wor2 = jieba.cut(str2)
    wor3 = jieba.cut(str3)
    #用list函数将字符串强制转换成列表
    #type(wor1)
    #print(wor2)
    li1 = list(wor1)
    li2 = list(wor2)
    li3 = list(wor3)
    #print(type(li1))
    #print(li1)
    a1 = ' '.join(li1)
    a2 = ' '.join(li2)
    a3 = ' '.join(li3)
    #print(type(a1))
    #print(a1)
    return a1, a2, a3

def tfidfvec():
    '''
    中文特征值化
    :return:
    '''
    a1, a2, a3 = cutword()
    print(a1,a2,a3)
    #print((a1,a2,a3))
    #实例化TfidfVectorizer
    tf = TfidfVectorizer()
    data = tf.fit_transform([a1,a2,a3])
    print(tf.get_feature_names())
    print(data.toarray())
    return  None
if __name__ == "__main__":
    tfidfvec()

执行结果

#今天 很 残酷 ， 明天 更 残酷 ， 后天 很 美好 ， 但 绝对 大部分 是 死 在 明天 晚上 ， 所以 每个 人 不要 放弃 今天 。 我们 看到 的 从 很 远 星系 来 的 光是在 几百万年 之前 发出 的 ， 这样 当 我们 看到 宇宙 时 ， 我们 是 在 看 它 的 过去 。 如果 只用 一种 方式 了解 某样 事物 ， 你 就 不会 真正 了解 它 。 了解 事物 真正 含义 的 秘密 取决于 如何 将 其 与 我们 所 了解 的 事物 相 联系 。
#['一种', '不会', '不要', '之前', '了解', '事物', '今天', '光是在', '几百万年', '发出', '取决于', '只用', '后天', '含义', '大部分', '如何', '如果', '宇宙', '我们', '所以', '放弃', '方式', '明天', '星系', '晚上', '某样', '残酷', '每个', '看到', '真正', '秘密', '绝对', '美好', '联系', '过去', '这样']

总结：最后数据越大的词重要性越大