python文本挖掘
分享文本挖掘相关内容,如情感分析、摘要、词语图等
陈同学2020
问题驱动,输出导向。
展开
-
Python文本挖掘练习(二)// 情感分析
一、练习目标1、掌握读取csv文档内容,掌握词转向量2、构建决策树模型用于评论数据集的正负情感分类3、安装graphviz软件,画决策树注:本次练习不涉及文本分词、模型参数调优。二、步骤与代码...原创 2020-06-11 22:59:15 · 887 阅读 · 0 评论 -
Python文本挖掘练习(一)// 新闻摘要
一、练习目标1、掌握读取文档内容、文章分句、文本分词的方法2、掌握文本向量化,剔除停用词3、掌握用cosine方法计算文档相似度,并基于此提取文档摘要4、将过程封装成函数,方便调用二、步骤与代码三、封装函数def summary(path,num_summary=2): ''' 函数功能:实现文本摘要 参数说明: path:文档路径 num_summary:摘要长短 返回: result:摘要原创 2020-06-11 22:48:33 · 1358 阅读 · 0 评论 -
Python文本挖掘练习(四)// 词云图
一、练习目标1、掌握结巴分词,增加不在jieba的新词,剔除停用词,分词后只保留词性为n的词;2、利用Counter函数统计文档的词语频次;3、安装wordcloud,制作词云图。二、步骤与代码#********* 步骤一 ********##获取当前路径import oscwd=os.getcwd()Data_Folder=cwd+'\Demo5Files'#走访文件from os import walkfrom os.path import joinfile_list=[原创 2020-06-12 22:48:44 · 762 阅读 · 0 评论 -
Python文本挖掘练习(五)// 电商产品评论数据情感分析
第一部分 案例简介本案例首先利用Python文本挖掘技术,对碎片化、非结构化的电商网站评论数据进行清洗与处理,转化为结构化数据。然后对文本数据进一步挖掘与分析,采用决策树算法构建情感分类模型,探索用机器学习算法对评论标注type的可能性;依据情感词库匹配情感词,计算每条评论的情感值,进而机器标注每条评论的正负类型type,用词云图直观呈现正负评论的关键词,初步获得用户的反馈意见。最后利用gensim库构建主题挖掘模型,深入了解用户的意见、购买原因、产品的优缺点等。说明:本案例侧重分析思路及代码实现,不深原创 2020-07-03 22:19:27 · 16219 阅读 · 9 评论 -
Python文本挖掘练习(三)// 文本聚类
一、练习目标1、运用tfidf技术进行词转向量2、构建KMeans模型用于文本聚类注:本次练习不涉及文本分词。二、步骤与代码附聚类效果评估将聚类结果与新闻真实分类进行比较,总体新闻分类(聚类)的准确率达到93%。...原创 2020-06-11 23:11:01 · 1791 阅读 · 3 评论