[无监督学习] 11.详细图解LSA

LSA
LSA（Latent Semantic Analysis，潜在语义分析）是一种自然语言处理技术。作为一种降维算法，它常被用于信息搜索领域。
使用 LSA 能够从大量的文本数据中找出单词之间的潜在关联性。

概述
LSA 是在 1988 年被提出的算法，用于信息搜索领域。当时信息搜索的做法是，事先对作为搜索对象的文本中包含的单词建立索引（index），如果索引与搜索关键字相同，就将该文本加入到搜索结果中。
但是这种方法有一个缺点：如果对搜索对象建立的索引与搜索关键字有一点点不同，那就无法很好地找到信息。假设有一篇索引中包含“车”的文章，在使用“汽车”这个搜索关键字搜索时，就会出现搜索结果中没有这篇文章的问题（同义性的问题）。虽然我们人类都知道“车”和“汽车”是含义基本上相同的单词，但是一个词一个词地教给计算机“这个单词和这个单词含义相似”的做法是不现实的。
而使用 LSA 就可以根据大量文本自动计算单词和单词的相似度，以及单词和文本的相似度。
通过 LSA 对文本和单词的矩阵进行降维，将其变换为潜在语义空间（图 3-5）。这种变换使用矩阵分解进行。矩阵分解是指将某个矩阵表示为多个矩阵的乘积的形式。矩阵分解是如何用于无监督学习的降维算法的呢？下面的“算法说明”部分将进行介绍。

▲图 3-5　潜在语义空间的示意图

在单词空间中，车和汽车都被当作正交维度处理，而在语义空间中，二者被表示为相似的单词。

算法说明
下面结合具体的例子来讲解矩阵分解和降维。
首先将以下文本变换为矩阵 X。矩阵 X 的各元素是文本中出现的单词的个数（表 3-1）。

• 坐汽车去公司
• 坐车去的
• 在餐厅吃汉堡牛肉饼
• 在餐厅吃意大利面

▼表 3-1　文本中出现的单词的个数

我们先未卜先知地看一下对矩阵 X 进行矩阵分解后的结果。8 行 4 列的 X 被表示为 8 行 4 列的 U、4 行 4 列的矩阵 D 和 4 行 4 列的矩阵的乘积的形式。

其中，U 是包含单词和归纳的特征的变换信息的矩阵，D 是包含信息的重要度的矩阵，V 是包含归纳的特征和文本的变换信息的矩阵。
另外，D 是一个对角矩阵，(1, 1)、(2, 2) 等对角线上的元素之外的元素都是 0，对角元素按信息的重要度从大到小排列。在使用 3 个矩阵降维时，我们重点关注 D。下面思考这样一个需求：原始数据有 4 个特征，但我们希望将其降维到 2 个特征。
从 D 的 4 个值中选出最重要的 2 个，建立一个 2 行 2 列的对角矩阵。为了匹配这个 D，我们相应地删去 U 的第 3 列和第 4 列，以及 的第 3 列和第 4 列，将它们分别变形为 8 行 2 列和 2 行 4 列的矩阵。

这些矩阵的乘积 是原来的矩阵 X 的近似。即使我们只用了 D 的值中的一半（2 个值）， 还是在一定程度上保留了原来的信息。
当作为降维算法使用时，我们要用到的是在变换为原始特征的形式之前（在乘以之前）的 。 是一个 8 行 2 列的矩阵，我们可以将其解释为从归纳的特征中选择的 2 个重要度高的特征（图 3-6）。

▲图 3-6　对 n 行 d 列的 X 进行矩阵分解的示意图（在将维度减少到 个时，使用 ）
我们来看一下 的具体数值。设这里归纳的 2 个特征为 A 和 B。A 和 B 没有明确的意义，但它们是基于单词的关联性而创建的具有潜在意义的特征（表 3-2）。
▼表 3-2　两个特征

“汽车”和“车”拥有变量 B 的值，“汉堡牛肉饼”和“意大利面”拥有变量 A 的值。A 和 B 的特征值显示了各个单词之间的关联性（图 3-7）。

▲图 3-7　以潜在变量表示的单词

示例代码
下面使用 Python 代码解决前面探讨的问题。假设有一个使用 8 个变量（= 单词的个数）表示的数据集，现在用 2个潜在变量来表示它。        

from sklearn.decomposition import TruncatedSVD

data = [[1, 0, 0, 0],
        [1, 0, 0, 0],
        [1, 1, 0, 0],
        [0, 1, 0, 0],
        [0, 0, 1, 1],
        [0, 0, 1, 0],
        [0, 0, 1, 1],
        [0, 0, 0, 1]]
n_components = 2 # 潜在变量的个数
model = TruncatedSVD(n_components=n_components)
model.fit(data)
print(model.transform(data)) # 变换后的数据
print("*******************************")
print(model.explained_variance_ratio_) # 贡献率
print("*******************************")
print(sum(model.explained_variance_ratio_)) # 累计贡献率

结果：

[[ 0.00000000e+00  8.50650808e-01]
 [ 0.00000000e+00  8.50650808e-01]
 [-5.43895982e-16  1.37638192e+00]
 [-5.43895982e-16  5.25731112e-01]
 [ 1.41421356e+00  4.04384525e-16]
 [ 7.07106781e-01  2.02192262e-16]
 [ 1.41421356e+00  4.04384525e-16]
 [ 7.07106781e-01  2.02192262e-16]]
*******************************
[0.38596491 0.27999429]
*******************************
0.6659592065833292

另外，与 PCA 一样，我们也可以检查 LSA 变换后的矩阵中包含多少原始信息。使用了 scikit-learn 的上述代码输出的累计贡献率约为 0.67，表明这 2 个变量包含了约 67% 的原始数据的信息。

详细说明
使用 LSA 时的注意事项
“算法说明”部分提到的矩阵分解是一种叫作奇异值分解的技术。使用了奇异值分解的 LSA 在信息检索中的应用备受关注，它具有以新的空间表示文本等优点。但在实际使用中，需要注意一些问题。
一是变换后的矩阵有时难以解释。在通过奇异值分解降维时，各个维度可能是正交的，矩阵中的元素也可能是负值。因此，与之相比，还是后面即将介绍的 NMF 和 LDA 等算法的结果更容易解释。
二是 LSA 的计算成本有时很高。特别是在用于文本时，由于原始矩阵的维度就是单词的个数，所以 LSA 必须在非常大的矩阵上进行奇异值分解。
还有一个与计算成本有关的问题：随着新词的加入，原有的矩阵必须重新创建，我们必须在此基础上重新计算，所以模型的更新难度很大。

———————————————————————————————————————————

文章来源:书籍《图解机器学习算法》

作者：秋庭伸也 杉山阿圣 寺田学

出版社：人民邮电出版社

ISBN：9787115563569

本篇文章仅用于学习和研究目的，不会用于任何商业用途。引用书籍《图解机器学习算法》的内容旨在分享知识和启发思考，尊重原著作者秋庭伸也 杉山阿圣 寺田学的知识产权。如有侵权或者版权纠纷，请及时联系作者。
———————————————————————————————————————————