python计算tfidf sklearn计算

利用python 计算文档的tfidf，步骤大概如下：

读入文档，对文档进行分词，每一段为一个字符串，分词用空格隔开，读入文档是一个长度为该文档段数的列表。

利用vectorizer生成词频矩阵X ， 再利用tfidftransformer 生成tfidf矩阵。

代码如下：

import jieba
import numpy as np
from sklearn import feature_extraction
from sklearn.feature_extraction.text import TfidfTransformer
from sklearn.feature_extraction.text import CountVectorizer


text = """
由张一山与唐艺昕主演的新版《鹿鼎记》备受争议，魔改的剧情和夸张的演技让人无法直视。作为主演的张一山承受了大部分观众的炮火，受尽无数吐槽。而在剧中扮演韦小宝老婆之一苏荃的朱珠却在采访中直面差评、硬刚网友，为张一山洗白。
尽管大家已经做好了翻拍不如原版的准备，然而还是没有想到这一版本《鹿鼎记》会如此不尽人意，开播前有多受网友期待，开播后就让人感到有多失望。
张一山版《鹿鼎记》在经历了剧情魔改、演员演技浮夸这一系列重创后，最终评分惨不忍睹。
原以为有“戏骨”张一山坐镇扛剧，这部剧再差也不会差到哪里去，谁曾想整部剧最大的槽点就是张一山本人。
过于浮夸的演技，油腻做作的肢体语言，被网友称为“猴式演技”，还有网友无情吐槽张一山“像被鞭子抽了三年的心酸小瘦猴在努力假装快乐活泼”。
而朱珠在剧中扮演的则是韦小宝的御姐老婆苏荃，性格大气沉稳、临危不惧。朱珠所饰演的苏荃其实也并没有让人眼前一亮，演技总体来说还是有些流于表面，没有让整部剧口碑力挽狂澜。
或许是戏份不多的原因，朱珠在这部戏中并没有被过多讨论，网友的炮火主要还是集中在主演张一山身上。不过朱珠参演的另外一部剧《大秦赋》也同样备受争议，并且戏份过多的朱珠还受到不少吐槽。
《大秦赋》这部剧算是高开低走的典型，集结了张鲁一、段奕宏、邬君梅等演技派的历史大剧，是网友们相当期待的一部剧，朱珠在剧中扮演的是一代美人赵姬。
作为秦始皇嬴政的生母，赵姬戏份过于拖沓，与嫪毐的情爱纠葛缠绵不断，被网友吐槽将《大秦赋》演成了《大情妇》或者是《嫪毐传》。
赵姬这个角色若是演好了定能圈大波粉丝，不过朱珠却将其演绎成了只会傻笑的“傻白甜”，美则美矣，然而没有了灵魂。
这边朱珠自己已经受到吐槽不断，受访时还是为旧搭档张一山发声，与给出差评的观众正面刚。
朱珠表示张一山虽然看起来古灵精怪，其实是非常成熟并且大男人的一个人，心里也是非常有数。
"""

word_list = text.split("\n")
word_list
new_word_list = [i for i in word_list if i != ""]
new_word_list

corpus = [" ".join(jieba.cut(w)) for w in new_word_list]
corpus

# 必须转成 英文的文本格式，就是 一段话，是一个corpus的单元，但是这一段话必须是 字符串， 用空格分开。

vectorizer = CountVectorizer()
X = vectorizer.fit_transform(corpus)
word = vectorizer.get_feature_names()
word
freq = X.toarray()
freq

transformer = TfidfTransformer()
tfidf = transformer.fit_transform(X)

tfidf.toarray()