python主题LDA建模和t-SNE可视化

知识共享许可协议 版权声明:署名,允许他人基于本文进行创作,且必须基于与原先许可协议相同的许可协议分发本文 (Creative Commons

使用潜在Dirichlet分配(LDA)和t-SNE中的可视化进行主题建模。

 

本文中的代码片段仅供您在阅读时更好地理解。有关完整的工作代码,请参阅此回购。

我们将首先介绍主题建模和t-SNE,然后将这些技术应用于两个数据集:20个新闻组和推文。

什么是主题建模?

主题模型是一套算法/统计模型,可以揭示文档集中的隐藏主题。直观地看,因为一个文件是关于某个特定话题,人们所期望的某些词出现在文档中或多或少频繁:“算法”,“编译器”,和“阵”将在大约计算机科学文档更经常出现,“关于政治的文件中的民主','政治家'和'政策',''','a'和'是'两者都可能同样出现。此外,文档通常涉及不同比例的多个主题,特别是在跨学科文档中(例如,60%关于生物学,25%关于统计学,15%关于计算机科学的生物信息学文章)。主题模型在数学框架中捕获这种直觉,以检查和发现主题可能是什么以及每个文档的主题平衡。

热门话题建模算法包括潜在语义分析(LSA),分层Dirichlet过程(HDP)和潜在Dirichlet分配(LDA),其中LDA在实践中已经显示出很好的结果,因此被广泛采用。这篇文章将使用LDA进行主题建模(对于那些喜欢了解LDA理论并且阅读公式很舒服的人,请参阅本文)。

T-SNE

t-SNE或t分布随机邻域嵌入是用于高维数据可视化的维数降低算法。这部分是为了减轻人类不能(至少现在不能)感知超过3-D的向量空间这一事实。

这是一个减少784-D数字表示并在三维空间中可视化的示例(信用:Google嵌入项目)

t-SNE是不确定的,其结果取决于数据批次。换句话说,相对于批次中的其他数据点,相同的高维数据点可以被转换成不同批次的不同2-D或3-D向量。

可以使用各种语言实现t-SNE,但速度可能会有所不同。例如,我对C ++和Python包装器以及Python sklearn版本进行了比较,发现前者在矩阵转换速度方面通常快3倍:

环境

15-inch MacBook Pro, macOS Sierra

2.2 GHz Intel Core i7 processor

16 GB 1600 MHz DDR3 memory

1.将10,000 x 50矩阵转换为10,000 x 2

C ++和Python

real 1m2.662s

user 1m0.575s

sys 0m1.929s

Python sklearn

real 3m29.883s

user 2m22.748s

sys 1m7.010s

2.将20,000 x 50矩阵转换为20,000 x 2

C ++和Python

real 2m40.250s

user 2m32.400s

sys 0m6.420s

Python sklearn

real 6m54.163s

user 4m17.524s

sys 2m31.693s

3.将1,000,000 x 25矩阵转换为1,000,000 x 2

C ++和Python

real 224m55.747s

user 216m21.606s

sys 8m21.412s

Python sklearn

out of memory... :(

t-SNE的作者说,他们“已经将这项技术应用于数据集,最多有3000万个例子”(尽管他没有指定数据和运行时的维度)。如果你有一个更大的数据集,你可以扩大你的硬件,调整参数(例如,sklearn的t-SNE中的angle参数),或尝试替代(如LargeVis,其作者声称“与tSNE比较,LargeVis显着降低了图形构建步骤的计算成本“。我还没有测试过它。

把它放在一起:20个新闻组的例子

足够的理论:让我们亲自动手吧。在本节中,我们将在20个新闻组数据集上应用LDA算法,以发现每个文档中的基础主题,并使用t-SNE将它们显示为组。

获取数据

幸运的是,它sklearn具有轻松检索和过滤20个新闻组数据的功能:

from sklearn.datasets import fetch_20newsgroups
# we only want to keep the body of the documents!
remove = ('headers', 'footers', 'quotes')
# fetch train and test data
newsgroups_train = fetch_20newsgroups(subset ='train', remove =remove)
newsgroups_test = fetch_20newsgroups(subset ='test', remove =remove)
# a list of 18,846 cleaned news in string format
# only keep letters & make them all lower case
news = [' ' .join(filter(unicode .isalpha, raw .lower() .split())) for raw in
newsgroups_train .data + newsgroups_test .data]

LDA模型

在我们获得清理后的数据后,我们可以对令牌进行矢量化并训练LDA模型:

import lda
from sklearn.feature_extraction.text import CountVectorizer
n_topics = 20 # number of topics
n_iter = 500 # number of iterations
# vectorizer: ignore English stopwords & words that occur less than 5 times
cvectorizer = CountVectorizer(min_df =5, stop_words ='english')
cvz = cvectorizer .fit_transform(news)
# train an LDA model
lda_model = lda .LDA(n_topics =n_topics, n_iter =n_iter)
X_topics = lda_model .fit_transform(cvz)

其中X_topics是18,846(num_news)乘20(n_topics)矩阵。注意,我们在这里有一个很好的概率解释:每一行是属于某个主题的这个新闻的概率分布(由我们的LDA模型学习)(例如,X_topics[0][0]代表属于主题1的第一个新闻的可能性)。

用t-SNE减少到2-D

我们有一个学习过的LDA模型。但我们无法直观地检查我们的模型有多好。t-SNE来救援:

from sklearn.manifold import TSNE
# a t-SNE model
# angle value close to 1 means sacrificing accuracy for speed
# pca initializtion usually leads to better results
tsne_model = TSNE(n_components =2, verbose =1, random_state =0, angle =.99, init='pca')
# 20-D -> 2-D
tsne_lda = tsne_model .fit_transform(X_topics)

可视化组及其关键字

现在,我们已准备好使用流行的Python可视化库散景来可视化新闻组和关键字。

首先我们做一些设置工作(导入类和函数,设置参数等):

import numpy as np
import bokeh.plotting as bp
from bokeh.plotting import save
from bokeh.models import HoverTool
n_top_words = 5 # number of keywords we show
# 20 colors
colormap = np .array([
"#1f77b4", "#aec7e8", "#ff7f0e", "#ffbb78", "#2ca02c",
"#98df8a", "#d62728", "#ff9896", "#9467bd", "#c5b0d5",
"#8c564b", "#c49c94", "#e377c2", "#f7b6d2", "#7f7f7f",
"#c7c7c7", "#bcbd22", "#dbdb8d", "#17becf", "#9edae5"
])

然后我们找到每个新闻最可能的主题:

_lda_keys = []
for i in xrange(X_topics .shape[0]):
_lda_keys += _topics[i] .argmax(),
并获得每个主题的顶级单词:
topic_summaries = []
topic_word = lda_model .topic_word_ # all topic words
vocab = cvectorizer .get_feature_names()
for i, topic_dist in enumerate(topic_word):
topic_words = np .array(vocab)[np .argsort(topic_dist)][: -(n_top_words + 1): -1] # get!
topic_summaries .append(' ' .join(topic_words)) # append!

最后但并非最不重要的是,我们绘制新闻(每个点代表一个新闻):

title = '20 newsgroups LDA viz'
num_example = len(X_topics)
plot_lda = bp .figure(plot_width =1400, plot_height =1100,
title =title,
tools ="pan,wheel_zoom,box_zoom,reset,hover,previewsave",
x_axis_type =None, y_axis_type =None, min_border =1)
plot_lda .scatter(x =tsne_lda[:, 0], y =tsne_lda[:, 1],
color =colormap[_lda_keys][:num_example],
source =bp .ColumnDataSource({
"content": news[:num_example],
"topic_key": _lda_keys[:num_example]
}))

并绘制每个主题的关键词:

# randomly choose a news (within a topic) coordinate as the crucial words coordinate
topic_coord = np .empty((X_topics .shape[1], 2)) * np .nan
for topic_num in _lda_keys:
if not np .isnan(topic_coord) .any():
break
topic_coord[topic_num] = tsne_lda[_lda_keys .index(topic_num)]
# plot crucial words
for i in xrange(X_topics .shape[1]):
plot_lda .text(topic_coord[i, 0], topic_coord[i, 1], [topic_summaries[i]])
# hover tools
hover = plot_lda .select(dict(type =HoverTool))
hover .tooltips = {"content": "@content - topic: @topic_key"}
# save the plot
save(plot_lda, '{}.html' .format(title))

这是很多代码...但如果你已经做到这一点,你会得到一个像这样的交互式情节:

当我们为每个文档分配一个主要主题时,有些情况甚至最可能的主题的概率相当低(极端情况是每个主题被分配5%,即,均匀分布)。换句话说,我们的模型无法自信(利润率很高)为这样的新闻分配主题。

一种解决方法是添加一个阈值因子,以帮助过滤掉非自信的分配。在我们训练LDA模型之后,在我们使用t-SNE减少维数之前,简单地说明这些线:

import numpy
threshold = 0.5
_idx = np .amax(X_topics, axis =1) > threshold # idx of doc that above the threshold
X_topics = X_topics[_idx]

并重新运行我们将得到的代码:

看起来好多了:孤立和明确的团体!然而,我们以牺牲非自信的任务为代价来实现这一目标(在这种情况下,超过一半的数据)。这表明我们的LDA模型只能从这个数据集中学到很多,而且我们的模型没有信心为所有新闻分配一个好的主题。

也就是说,如果你仔细检查每个主题,那么为每个主题学到的热门话语都有一定道理:例如,'医疗保健使用号码患者'(医疗保健)反对'god jesus christian bible'(宗教)。

推文示例

Twitter已成为最受欢迎的新闻和社交网络服务(SNS)平台之一。在上一篇博客实时Twitter趋势发现中,我们讨论了如何实时可视化Twitter趋势。然而,我们也可以使用推文语料库来模拟主题。

我们希望将推文保存到磁盘并积累一定数量(至少数百万)来有效地模拟主题,而不是将推文放在内存中进行实时处理。

首先,我们需要建立一个推文连接:请查看本节的内容。凭借凭据,我们可以抓取实时推文:

至少花一两天时间来积累相当数量的推文。有时连接可能会中断:只需重新运行脚本,以便将新推文保存到磁盘。

获得足够的推文后,我们可以加载推文,处理它们,对它们进行矢量化并计算tf-idf分数,训练LDA模型,减少到2-D,并可视化结果。请参阅此处的完整脚本。

你会得到一个如下图:

这是对200万条推文进行过培训的模型的可视化,只显示了5,000个数据点(或推文)。我们有一些很好的集群学习模型:'性女孩色情'代表一些色情相关的推文,'视频喜欢新'代表社交网络内容,'特朗普希拉里cliton'代表政治和选举(推特确实收集了2016年选举热)。

 

展开阅读全文

没有更多推荐了,返回首页