#词的重要程度
from sklearn.feature_extraction.text import TfidfVectorizer
import jieba
document1 = "共享单车确实烧钱,但这在中国创业圈里很常见,从打车到外卖都干过,雷布斯也语重心长,“创业还是要有烧不完的钱”,只不过共享单车烧得既没品味,也没技术含量,最后还引火烧身,几十亿美元落得这个结局,谁都没想到。"
document2 = "在人工智能已经深入生活的今天,社会上不乏“人工智能威胁论”,担忧机器人会“反噬”人类。在这篇文章里,李开复博士讨论了人工智能技术未来发展所带来的几个更真切和亟待解决的问题:全球性的失业问题及可能产生的全球性经济失衡和贫富差距。"
document3 = "从2009年到现在,鲨鱼投资者虽还在股海遨游,但胆子越来越小。折腾了N年,发现股票超出了我的认知范围,了解一家公司,难!股票行情,波动太大,小心脏受不了"
punct = set(u''':!),.:;?]}¢'\"、。〉》」』】〕〗〞︰︱︳﹐、﹒
﹔﹕﹖﹗﹚﹜﹞!),.:;?|}︴︶︸︺︼︾﹀﹂﹄﹏、~¢
々‖•·ˇˉ―--′’”([{£¥'\"‵〈《「『【〔〖([{£¥〝︵︷︹︻
︽︿﹁﹃﹙﹛﹝({“‘-—_…''')
filterpunt = lambda s: ''.join(filter(lambda x: x not in punct, s))
term1 = " ".join(jieba.cut(filterpunt(document1)))
term2 = " ".join(jieba.cut(filterpunt(document2)))
term3 = " ".join(jieba.cut(filterpunt(document3)))
tfidf = TfidfVectorizer()
result = tfidf.fit_transform([term1,term2,term3])
print(result)
print(tfidf.get_feature_names())
tf_idf文本抽取
最新推荐文章于 2023-01-16 15:43:57 发布