自然语言处理-TF-IDF

TF-IDF原理

解释：
TF-IDF（term frequency–inverse document frequency）是一种用于信息检索与数据挖掘的常用加权技术。
TF意思是词频(Term Frequency)，
IDF意思是逆文本频率指数(Inverse Document Frequency)。
使用场景：
用于关键词提取

代码实现

import jieba.analyse as analyse
import pandas as pd
df = pd.read_csv("./technology_news.csv", encoding='utf-8')
df = df.dropna()
lines=df.content.values.tolist()
content = "".join(lines)
print("  ".join(analyse.extract_tags(content, topK=30, withWeight=False, allowPOS=())))

输出结果：
用户  2016  互联网  手机  平台  人工智能  百度  2017  智能  技术  数据  360  服务  直播 
产品  企业  安全  视频  移动  应用  网络  行业  游戏  机器人  电商  内容  中国  领域  通过  发展

注：
import jieba.analyse
jieba.analyse.extract_tags(sentence, topK=20, withWeight=False, allowPOS=())
sentence 为待提取的文本
topK 为返回几个 TF/IDF 权重最大的关键词，默认值为 20
withWeight 为是否一并返回关键词权重值，默认值为 False
allowPOS 仅包括指定词性的词，默认值为空，即不筛选