【Sklearn】 基于Sklearn-TfidfVectorizer文本分类

已于 2024-04-11 01:15:44 修改
阅读量1.5k 收藏 8
点赞数 2
文章标签： 数据挖掘 人工智能 自然语言处理
于 2022-07-26 00:20:59 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_62011685/article/details/125985359
版权

目录

一、关于TF-IDF介绍

二、构建词袋（Words of bag）

三、使用DataFrame构建TF-IDF矩阵

四、使用sklearn构建TF-IDF矩阵

五、TD-IDF矩阵总结

 

一、关于TF-IDF介绍

重要思想：
        如果某个词在某篇文档中出现的频率TF高，并且在其他文本中很少出现，则认为，此词有很好的的类别区分能力，适合用来分类；
重要说明：TF-IDF矩阵
        TF(Term Frequency):词项频率，即词频，每个词在文本中出现的次数；
        IDF(Inverse Document Frequency):逆文档频率，文本总数除以出现某词的文本数；

        TF-IDF就是词项频率乘以逆文档频率

eq?TD-IDF%3DTF*IDF

二、构建词袋（Words of bag）

        基于网上的新闻数据，选取了四篇文章，使用jieba分词进行构建TF-IDF矩阵，四篇文章标题如下;

文章一：公安部回应唐山烧烤店打人事件：一定会彻底查清全案

文章二:吴啊萍受审画面曝光，南京玄奘寺涉事住持道歉！中纪委网站最新发声

文章三：“唐山打人”事件，与我们每个人有关，一夜，全网都在为一件事揪心

文章四：吴啊萍身份终于查清，90后女护士，供奉是个人行为无境外势力参与

导入数据，构建词袋（语料库）

with open(r'C:\Users\GDY\Desktop\Study\CNDS\小刀试牛 构建TF-IDF矩阵\doc1.txt',encoding='utf-8') as file:
    doc1=file.read().rstrip()
#     print(doc1)     ##rstrip()删除字符串末尾的空   
with open(r'C:\Users\GDY\Desktop\Study\CNDS\小刀试牛 构建TF-IDF矩阵\doc2.txt',encoding='utf-8') as file:
    doc2=file.read().rstrip()
#     print(doc2)     ##rstrip()删除字符串末尾的空 
with open(r'C:\Users\GDY\Desktop\Study\CNDS\小刀试牛 构建TF-IDF矩阵\doc3.txt',encoding='utf-8') as file:
    doc3=file.read().rstrip()
#     print(doc3)     ##rstrip()删除字符串末尾的空 
with open(r'C:\Users\GDY\Desktop\Study\CNDS\小刀试牛 构建TF-IDF矩阵\doc4.txt',encoding='utf-8') as file:
    doc4=file.read().rstrip()
#     print(doc3)     ##rstrip()删除字符串末尾的空 
doc_tokens=[]
docs=[doc1,doc2,doc3,doc4]
for doc in docs:
    doc_tokens+=[sorted(jieba.cut(doc,cut_all=False))]
all_doc_tokens=sum(doc_tokens,[])
lexicon=sorted(set(all_doc_tokens))
#删除换行符
lexicon.remove('\n')
df=pd.DataFrame(lexicon,columns=['words_of_bag'])
df['vec']=0
df.head()

57747edd70a546d4a8d995bda220c0cf.png

 

三、使用DataFrame构建TF-IDF矩阵

计算TF词项频率

doc_vector=[]
i=1
for doc in docs:
    doc_tokens=sorted(jieba.cut(doc,cut_all=False))
    doc_tokens.remove('\n')
    column_name='doc'+str(i)
    vec_name='TF'+str(i)
    df_tokens=pd.DataFrame(doc_tokens,columns=[column_name])
    df_tokens=df_tokens.groupby(column_name).agg({column_name:'count'})
    df_tokens.rename(columns={column_name:vec_name},inplace=True)
    df_tokens=df_tokens.reset_index()
    df_tokens.rename(columns={column_name:'words_of_bag'},inplace=True)
    df=pd.merge(df,df_tokens,how='left',on='words_of_bag')
    i+=1
#     print(df_tokens.head())
#     vec=copy.copy
df=df.fillna(0)
df.head()

99965bd708584c5ebbc812ea819ab6ff.png

 计算IDF:逆文档频率

#计算包含词的文档数
doc_counts=[]
for i in range(df.shape[0]):
    doc_counts.append(df.iloc[:,2:].T.iloc[:,i][df.iloc[:,2:].T.iloc[:,i]!=0].count())
df['doc_counts']=doc_counts
#使用lg函数对词频进行尺度放缩处理
df['TF-IDF1']=np.log10(3/df['doc_counts'])*df['TF1']
df['TF-IDF2']=np.log10(3/df['doc_counts'])*df['TF2']
df['TF-IDF3']=np.log10(3/df['doc_counts'])*df['TF3']
df['TF-IDF4']=np.log10(3/df['doc_counts'])*df['TF4']
df.head()

4854d190b873452cb90fa0ea0c507810.png

计算余弦相似度

 

#计算余弦相似度
TF_IDF1=np.array(df['TF-IDF1'])
TF_IDF2=np.array(df['TF-IDF2'])
TF_IDF3=np.array(df['TF-IDF3'])
TF_IDF4=np.array(df['TF-IDF4'])

cos_sim12=round(np.dot(TF_IDF1,TF_IDF2)/np.linalg.norm(TF_IDF1)*np.linalg.norm(TF_IDF2),4)
cos_sim13=round(np.dot(TF_IDF1,TF_IDF3)/np.linalg.norm(TF_IDF1)*np.linalg.norm(TF_IDF3),4)
cos_sim14=round(np.dot(TF_IDF1,TF_IDF4)/np.linalg.norm(TF_IDF1)*np.linalg.norm(TF_IDF4),4)
cos_sim23=round(np.dot(TF_IDF2,TF_IDF3)/np.linalg.norm(TF_IDF2)*np.linalg.norm(TF_IDF3),4)
cos_sim24=round(np.dot(TF_IDF2,TF_IDF4)/np.linalg.norm(TF_IDF2)*np.linalg.norm(TF_IDF4),4)
cos_sim34=round(np.dot(TF_IDF3,TF_IDF4)/np.linalg.norm(TF_IDF3)*np.linalg.norm(TF_IDF4),4)

print(cos_sim12,cos_sim13,cos_sim14,cos_sim23,cos_sim24,cos_sim34)

52111cb42bd541d39eb9117c5847914c.png

         余弦相似度前三个值分别为：333.5473，443.2086和242.046。分别对应了第一三篇文章，第二三篇文章和第二四篇文章，一三篇文章均为“唐山打人”事件，二三篇文章为“唐山打人”事件和“吴啊萍”事件，二四篇文章为“吴啊萍”事件。

四、使用sklearn构建TF-IDF矩阵

构建TF-IDF矩阵

from sklearn.feature_extraction.text import TfidfVectorizer
corpus=docs
vectorizer=TfidfVectorizer(min_df=1)
model=vectorizer.fit_transform(corpus)
itidf=model.todense().round(4)
print(itidf)

338177fbe1e44c1981f0fa17dd1cac58.png

 

 

计算余弦相似度

#计算余弦相似度
TF_IDF1=itidf[0]
TF_IDF2=itidf[1]
TF_IDF3=itidf[2]
TF_IDF4=itidf[3]

cos_sim12=round(np.dot(TF_IDF1,TF_IDF2)/np.linalg.norm(TF_IDF1)*np.linalg.norm(TF_IDF2),4)
cos_sim13=round(np.dot(TF_IDF1,TF_IDF3)/np.linalg.norm(TF_IDF1)*np.linalg.norm(TF_IDF3),4)
cos_sim14=round(np.dot(TF_IDF1,TF_IDF4)/np.linalg.norm(TF_IDF1)*np.linalg.norm(TF_IDF4),4)
cos_sim23=round(np.dot(TF_IDF2,TF_IDF3)/np.linalg.norm(TF_IDF2)*np.linalg.norm(TF_IDF3),4)
cos_sim24=round(np.dot(TF_IDF2,TF_IDF4)/np.linalg.norm(TF_IDF2)*np.linalg.norm(TF_IDF4),4)
cos_sim34=round(np.dot(TF_IDF3,TF_IDF4)/np.linalg.norm(TF_IDF3)*np.linalg.norm(TF_IDF4),4)

print(cos_sim12,cos_sim13,cos_sim14,cos_sim23,cos_sim24,cos_sim34)

662d77a98ebb4159bf1bbbffcdcf9f63.png

         由Sklearn构建的TF-IDF矩阵，矩阵中的每个词条构成矩阵的行，因为分词的方式不同，而且去掉了标点符号，所以词袋中只有609个词项。对于像上面的构建方式，Sklrean预优化的TF-IDF模型为我们省去了大量的工作，但是上面的第一种方法是构建TF-IDF矩阵的基本运行理论，基于TF-IDF矩阵，可以进行一些其它有趣的分析，比如主题向量分析，语义分析等工作。

五、构建TD-IDF矩阵总结

        通过计算TF词项频率和IDF逆文档频率，我们实现了由文字处理到数学计算的转变；

        TF词项频率和IDF逆文档频率计算公式

eq?TF%3D%5Cfrac%7Bword%5C_counts%7D%7Btotal%5C_counts%7D

eq?IDF%3D%5Cfrac%7Bdoc%5C_counts%7D%7Bword%5C_counts%7D

        注：IDF=词袋中的文档数除以包含某词的文档数，通常使用lg函数对IDF进行放缩处理。

        余弦相似度计算公式：

        eq?cos%5Ctheta%3D%5Cfrac%7BA%20B%7D%7B%7CA%7C%7CB%7C%7D

        TF-IDF矩阵是自然语言处理（NLP）的入门思想方法，本文通过DataFrame的方式构建TF-IDF矩阵希望能给到大家一些启发，掌握构建TF-IDF的基本构建过程。初步接触自然语言处理，有很多不足之处，望各位大神多多指教。

        文章使用资料已放至我的网盘，提取:TFID。关于线性代数基础知识向大家推荐之前的文章三个通宵万字写的 线代的基础知识（一），自己总结的同时，希望能帮助到大家，共同进步。

 

 

西瓜WiFi
关注
  • 2
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
利用TfidfVectorizer+朴素贝叶斯进行文本分类
淮南草的博客
08-06 5056
处理流程一般为：      提取特征数据集 标签 并向量化      选择合适的分类器构建模型      对模型进行验证 案例： from sklearn.datasets import fetch_20newsgroups from sklearn.cross_validation import cross_val_score from sklearn.feature_extract...
基于jieba、TfidfVectorizer、LogisticRegression的搜狐新闻文本分类
潇洒坤
09-02 1325
学习资源来源：容大教育，致以诚挚的谢意。 重新编辑：潇洒坤 jieba中文叫做结巴，是一款中文分词工具，官方文档链接：https://github.com/fxsjy/jieba TfidfVectorizer中文叫做词袋向量化模型，是用来文章内容向量化的工具，官方文档链接：http://sklearn.apachecn.org/cn/0.19.0/mod...
NLP实战之sklearn+逻辑回归进行THUCNews文本分类python
05-20
通过对数据进行分词、停词过滤、TfidfVectorizer/CountVectorizer处理，利用sklearn中是逻辑回归对THUCNews进行分类，包含数据集
Python数据分析案例13——文本特征抽取(TfidfVectorizer)
weixin_46277779的博客
12-30 8673
对文本数据进行TF-idf词频计算和词向量化，变为数值型特征变量，然后进行机器学习模型计算。
【TF-IDF|1】深入解析TF-IDF算法—基础介绍
最新发布
颜淡慕潇
06-15 3341
通过上述步骤，我们实现了TF-IDF算法的基础版本。这种算法在文本挖掘和信息检索中广泛应用，用于评估词语的重要性，从而更好地进行文本分析和搜索引擎优化。通过上述优化和扩展，我们不仅实现了基础的TF-IDF算法，还通过使用现成的库（如）提升了计算效率，并扩展了应用场景（如文档相似度计算）。TF-IDF作为一种经典的文本处理技术，广泛应用于信息检索、文本分类和自然语言处理等领域。了解其原理并掌握其实现，对于深入理解和应用文本挖掘技术非常有帮助。
自然语言处理库TfidfVectorizer（CountVectorizer与TfidfTransformer的结合）
昆兰.沃斯 的博客
12-13 1万+
这里简单介绍下scikit-learn自然语言文本处理的一个开源方法——TfidfVectorizer，该方法分别是由两种方法 CountVectorizer 与 TfidfTransformer 的结合，下面进行说明，说明之前给出三个文档链接（本文基本翻译自官方文档）： （文档在手天下我有，有问题看文档） 方法一：TfidfVectorizer 方法二：CountVectorizer、T...
文本分类中使用TfidfVectorizer（）
lcqin111的博客
05-30 6554
在文本分类中，经常使用到TfidfVectorizer()函数，这个函数把词转换为向量，TF是词频，idf是逆文本频率，idf表现一个词在所有文本中出现的频率，它出现的越多说明越不重要，idf即是一个词的重要程度体现，越高越重要。 在使用这个函数的时候，需要注意的是，它所输出的结果是一个scipy.sparse.csr.csr_matrix，我们在将结果输入到模型中的时候，需要注意模型是否支持这...
sklearn.feature_extraction.text 中的 TfidfVectorizer 实现过程
爱吃鱼的猫
02-24 8904
对于NLP，已经学习一年了，可是一直有一个问题困扰着我，终于忍无可忍，决定将问题解决掉。 首先，介绍一下我的问题： 对于TFIDF算法，当利用训练集训练完成分类器，利用分类器进行训练时，如果测试集中只有一个文档，TFIDF数据是如何生成的？ 这个问题可能对于很多人来说，很简单。但是对于我来说着实很纠结。 1. TFIDF算法基础知识 TF-IDF（Term Frequency-Inver...
Python中的TfidfVectorizer参数解析
热门推荐
小白_努力
05-25 8万+
vectorizer = CountVectorizer() #构建一个计算词频（TF）的玩意儿，当然这里面不足是可以做这些transformer = TfidfTransformer() #构建一个计算TF-IDF的玩意儿tfidf = transformer.fit_transform(vectorizer.fit_transform(corpus))#vectorizer.fit_trans...
【思考】tf/idf之于文本分类
云计算?
09-28 323
因为工作中需要用到计算词语权重，进而作词与选择，思考了一下tf/idf。 首先还是简单介绍一下tf/idf。 这个概念最开始用于信息检索。tf表示term frequency，通常是指词频；idf表示inversed document frequency，是文档频率的倒数。计算方式如下：通常是对于一篇文档，统计某个词出现的次数，并用文档中的总词数作归一化，计算出的tf在（0，1）之间。同时...
基于jieba、TfidfVectorizer、LogisticRegression的搜狐新闻文本分类-附件资源
03-02
基于jieba、TfidfVectorizer、LogisticRegression的搜狐新闻文本分类-附件资源
textclassify:文本分类：bow（词袋特征）、tfidf、word2vec、sklearn
05-02
textclassify 利用bow（词袋特征）、tfidf、word2vec进行中文文本分类 下图为部分数据集 第一列为分类标签，第二列为文本数据，是关于七类文学作品的简介 requirements gensim sklearn bow accuracy=0.918533,precision=0.918528,recall=0.918533,f1=0.918515 tfidf accuracy = 0.931081, precision = 0.931091, recall = 0.931081, f1 = 0.931071 word2vec accuracy = 0.573359, precision = 0.565731, recall = 0.573359, f1 = 0.567236
Sklearn-Algorithm-输入两段文字
05-11
在实际应用中，Sklearn库提供了丰富的工具，如`CountVectorizer`、`TfidfVectorizer`、`TfidfTransformer`等，用于文本数据的预处理和特征提取。对于文本分类、情感分析、主题建模等任务，还可以结合其他模型，如...
sklearn实现基于TF-IDF的KNN新闻标题文本分类
weixin_52664417的博客
03-25 271
要使用scikit-learn实现基于TF-IDF的KNN新闻标题文本分类，可以按照以下步骤进行操作： from sklearn.feature_extraction.text import TfidfVectorizerfrom sklearn.neighbors import KNeighborsClassifierfrom sklearn.model_selection import train_test_splititles = ['news title 1', 'news title 2', ..
sklearn-分类算法-朴素贝叶斯
tom199611的博客
08-12 1111
朴素贝叶斯 ： 适用于 文本分类，垃圾邮件识别等 思想：计算出 预测样本属于 ， 每一种类别分别的概率，然后取概率最大的类别 作为预测类别 朴素贝叶斯公式 C：代表类别class，例如科技类 W：预测文档提取出的关键词 w1```````wn P(属于科技概率|预测文档的特征值) =[ p(出现预测文档多个特征值的概率|科技类文档条件下)p(科技类文章占全部文档的概率) ] /...
基于scikit-learn(sklearn)做分类--2.分类
u013083549的博客
04-27 4796
上一步对文本进行了切词，下一步就是进行了分类： //这里有个问题是，假如用predict_proba（）这个函数的时候，可以得到一篇文章属于一个类并得到属于这个类的概率，返回一个列表，而predict（）这个函数只能得到文本最应该属于的那个类，只能返回一个类。同时，对于给予中文类别，那么返回的可能是数字类别，现在没有找到中文类别和数字类进行对应的函数，于是直接自己把类别和数字进行对应，返回的类别
NLP深入学习（三）：TF-IDF 详解以及文本分类/聚类用法
日常学习与专研的记录
01-18 2984
本文主要介绍nlp相关的tf-idf详细用法，包含文本分类、文本聚类等。
基于jieba,TfidfVectorizer,LogisticRegression进行搜狐新闻文本分类
weixin_30444105的博客
12-29 269
一、简介 　此文是对利用jieba,word2vec,LR进行搜狐新闻文本分类的准确性的提升，数据集和分词过程一样，这里就不在叙述，读者可参考前面的处理过程 　经过jieba分词，产生24000条分词结果（sohu_train.txt有24000行数据，每行对应一个分词结果） with open('cutWords_list.txt') as file: cutWords_li...
基于sklearn构建One-hot词向量
05-10
可以通过sklearn中的CountVectorizer和TfidfVectorizer来构建One-hot词向量。 首先，使用CountVectorizer来将文本转换为词频向量。代码如下： ```python from sklearn.feature_extraction.text import CountVectorizer corpus = ['This is the first document.', 'This is the second document.', 'And this is the third one.', 'Is this the first document?'] vectorizer = CountVectorizer() X = vectorizer.fit_transform(corpus) print(vectorizer.get_feature_names()) print(X.toarray()) ``` 输出结果如下： ``` ['and', 'document', 'first', 'is', 'one', 'second', 'the', 'third', 'this'] [[0 1 1 1 0 0 1 0 1] [0 1 0 1 0 1 1 0 1] [1 0 0 1 1 0 1 1 1] [0 1 1 1 0 0 1 0 1]] ``` 其中，vectorizer.get_feature_names()用来获取词汇表，即文本中所有出现过的单词。X.toarray()则是将文本转化为词频向量。 接下来，使用TfidfVectorizer来计算词语的TF-IDF值。代码如下： ```python from sklearn.feature_extraction.text import TfidfVectorizer corpus = ['This is the first document.', 'This is the second document.', 'And this is the third one.', 'Is this the first document?'] vectorizer = TfidfVectorizer() X = vectorizer.fit_transform(corpus) print(vectorizer.get_feature_names()) print(X.toarray()) ``` 输出结果如下： ``` ['and', 'document', 'first', 'is', 'one', 'second', 'the', 'third', 'this'] [[0. 0.43877674 0.5519395 0.43877674 0. 0. 0.35872874 0. 0.43877674] [0. 0.43877674 0. 0.43877674 0. 0.61221722 0.35872874 0. 0.43877674] [0.51184851 0. 0. 0.26710379 0.51184851 0. 0.26710379 0.51184851 0.26710379] [0. 0.43877674 0.5519395 0.43877674 0. 0. 0.35872874 0. 0.43877674]] ``` 可以看到，TfidfVectorizer计算出的是TF-IDF值，对于常见的单词“this”、“is”、“the”等，它们的TF-IDF值都比较低。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

西瓜WiFi

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值