python文本可视化_文本分析与可视化

Python部落(python.freelycode.com)组织翻译，禁止转载，欢迎转发。

在这篇文章中，我想描述一种文本分析和可视化技术，它使用一种基本的关键字提取机制，只使用单词计数器从我在[1]博客上创建的文章语料库中查找前3个关键词。为了创建这个语料库，我下载了我所有的博客文章(大约1400篇)，并抓取了每篇文章的文本。然后，我使用 nltk 和各种 词干提取/词形还原 技术对文章进行令牌化(也可翻译为:标记解析)，计算关键词并选取前3个关键词。然后我将所有文章中的关键词聚合起来，使用Gephi[2]工具来创建一个可视化图像。

我已经上传了一个带有完整代码集的jupyter笔记本[3]，供你重现此工作。你还可以从这里[4]的csv文件中获得我的博客文章的副本。你需要安装 beautifulsoup 和 nltk。你可以使用以下代码安装他们:

首先，我们加载我们的库:

我在这里加载时出现警告,是因为有一个关于BeautifulSoup的警告，我们可以忽略它。

现在，让我们来设置一些工作所需要的东西。

首先，我们来设置停止词、词干提取器和词形还原器。

现在，我们来建立一些我们需要的函数。

tokenizer 函数是从这里[5]引用的。如果你想看一些很酷的主题建模，那就跳过并阅读如何在Python中挖掘新闻反馈数据和提取交互式见解……[6]这是一篇非常好的关