TF-IDF和TruncatedSVD

一、使用TF-IDF对文本进行预处理,将文本化为向量的表示形式

 1、TfidfVectorizer可以把原始文本转化为tf-idf的特征矩阵，从而为后续的文本相似度计算，主题模型(如LSI)，文本搜索排序等一系列应用奠定基础。

2、实例

    tfidf_model = TfidfVectorizer().fit(document)  #字典中词语对应的编号
    print(tfidf_model.vocabulary_)
    # {'一条': 1, '天狗': 4, '日来': 5, '一切': 0, '星球': 6, '全宇宙': 3, '便是': 2}
    sparse_result = tfidf_model.transform(document)  # 得到tf-idf矩阵，稀疏矩阵表示法
    print(sparse_result)
    # (0, 4)    0.707106781187
    # (0, 1)    0.707106781187
    # (2, 5)    1.0
    # (3, 6)    0.707106781187
    # (3, 0)    0.707106781187
    # (4, 3)    1.0
    # (5, 2)    1.0
    #(文本数