![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
文本挖掘
一币通关
这个作者很懒,什么都没留下…
展开
-
文本挖掘学习(一) 分词、词频、词云
学习了文本挖掘的相关知识,做一个关于知识和具体使用的总结,对自己做一个督促,欢迎大家交流。 相关文件下载 目录 1.准备语料库 2.分词 3.词频统计 4.Wordcloud词云 1.准备语料库 import pandas as pd import re # 1.语料库 df = pd.read_csv('F:\\Downloads\\...原创 2019-02-22 23:33:47 · 1831 阅读 · 1 评论 -
文本挖掘学习(二) 向量化
目录 1.One-hot表示方式/词袋模型 2.文档-词条矩阵/d2m矩阵 3.N-gram 4.word2vec 1.One-hot表示方式/词袋模型 优点: 解决了分类器不好处理离散数据的问题 在一定程度上也起到了扩充特征的作用 缺点: 不考虑词与词之间的顺序 他假设词与词之间相互独立(大多数情况下,词与词之间是相互有关联的) 得到的特征是离散稀疏的 2.文档-词条矩阵/...原创 2019-02-23 10:41:45 · 728 阅读 · 0 评论 -
文本挖掘学习(三) 关键词提取、TF-IDF
1.TF-IDF算法 基本思想: 如果一个词在一篇文档中出现的频率高,并且在语料库中其他文档中很少出现,则认为这个词有很好的类别区分功能 词频TF:Term Frequency,衡量一个term在文档中出现的有多频繁 平均而言出现越频繁的词,其重要性可能就越高 考虑到文章长度的差异,需要对词频做标准化 TF(t) = (t出现在文档中的次数) / (文档中term总数) TF(t) = ...原创 2019-02-23 12:43:51 · 2400 阅读 · 0 评论 -
文本挖掘学习(四) 主题模型、LDA
1.主题模型LDA(Latent Dirichlet allocation) 其基本思想是把文档看成各种隐含主题的混合,而每个主题则表现为跟该主题相关的词项的概率分布 LDA基于词袋(bag of words)模型构建,认为文档和单词都是可以交换的,忽略单词在文档中的顺序和文档在语料库中的顺序,从而将文本信息转化为易于建模的数字信息 主题就是一个桶,里面装了出现概率较高的单词,这些单词与这个...原创 2019-02-23 13:40:51 · 4304 阅读 · 0 评论 -
文本挖掘学习(五) 文档相似度、文档聚类
1.文档相似度 基于词袋模型的基本思路 如果两个文档/两句话的用词越相似,他们的内容就越相似。因此可以从词频入手,计算他们的相似度 文档向量化之后,相似度的考察就直接转化为计算空间中距离的问题 缺陷:不能考虑否定词的巨大作用,不能考虑词序的作用 余弦相似度 两个向量间的夹角能够很好地反映其相似程度 但夹角大小使用不便,因此用夹角的余弦值作为相似度衡量指标 # 文本相似度 # 基于词袋...原创 2019-02-23 15:55:57 · 3099 阅读 · 0 评论 -
文本挖掘学习(六) 文档分类
1.朴素贝叶斯 朴素贝叶斯 = 贝叶斯公式 + 条件独立假设 抛弃词条间的关联,假设各个词条完全独立,完全基于词袋模型进行计算 2.sklearn实现 # 文档分类 # 朴素贝叶斯 # 从原始语料df中提取出所需的前两章段落 raw12 = df[df.chap.isin([1,2])] raw12ana = raw12.iloc[list(raw12.txt.apply(len) &...原创 2019-02-23 20:09:59 · 2318 阅读 · 0 评论