tf-idf特征抽取

TF-IDF是一种评估词在文件集或语料库中重要性的方法,常用于分类机器学习算法。sklearn库提供了TfidfVectorizer类来实现TF-IDF转换。通过实例展示了如何使用jieba分词和TfidfVectorizer进行文本处理,返回词的权重矩阵并进行逆变换。
摘要由CSDN通过智能技术生成

一、原理
如果某个词或短语在一篇文章中出现的概率高,并且在其他文章中很少出现,则认为此词或者短语具有很好的类别区分能力,适合用来分类。
二、作用
用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。是分类机器学习算法的的重要依据。
三、类
sklearn.feature_extraction.text.TfidfVectorizer
四、TfidfVectorizer语法
TfidfVectorizer(stop_words=None,…)
返回词的权重矩阵
(一)TfidfVectorizer.fit_transform(x,y)
x:文本或者包含文本字符串的可迭代对象
返回值:返回sparse矩阵
(二)TfidfVectorizer.inverse_transform(x)
x:array数组或者sparse矩阵
返回值:转换之前数据格式
(三)TfidfVectorizer.get_feature_names()
返回值:单词列表
例如:

from sklearn.feature_extraction import DictVectorizer
from sklearn.feature_extraction.text import CountVectorizer,TfidfVectorizer
import jieba

def cutword():
con1=jieba.cut(‘今天很残酷,明天更残酷,后天很美好,但绝对大部分是死在明天晚上,所以每个人不要放弃今天。’)
con2=jieba.cut(‘我们看到的从很远星系来的光是在几百万年之前发出的,这样当我们看到宇宙时,

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值