python中文文本分析_python--文本分析

一. 导读

文本分析主要用来分词分析，情感分析以及主题分析,参考 知乎用户的文章，他从方法代码上讲解了中英文分词(wordcloud,jieba)，中英文情感分析(textblob,snownlp)，以及主题分析(LDA).

应某位同学的要求，要处理文档里的分词，主题的统计功能，故本人做了个通用的小脚本,功能如下:

1. 词频取词，并生成气泡图

2. 重要性取词，并生成气泡图

3. 主题取词, 并导出html格式(好吧，pyLDAvis这个包有问题，没法导出来..,可以在notebook里面看)

接下来进行举例和分析

程序功能界面

二. 功能应用和分析

1.生成词频并生成气泡图

python term.py -type 1 -n 8 baidu.txt

结果如下:我们看到如下8个高词频词汇 :Baidu,Search,Users,Internet...... ，而在图中节点颜色越深，越大，词频越高，我们可以分析出，这篇文章应该是以用户使用搜索引擎的文章,没错----------就是百度的自我介绍:Baidu | Investors | Company Overview

技术分析:在Python ---网易云音乐评论自动云图生成器 这篇文章我使用的是pynlpir分词，而这次使用的jieba分词,注意:结巴分词并没有提供去除停用词的功能，这里要手动实现

气泡图一开始使用matplotlib画,但是很丑陋(调试了很久)，这里使用网络格式画.

2. 生成重要词并生成气泡图

python term.py -type 2 -n 5 baidu.txt

结果如下:前5个关