奇异值分解在文章标题聚类中的应用

问题阐述

我们有一堆文章及文章标题，我们想对这些文章做个聚类，相同知识点的文章聚在一起，我们可以采用奇异值分解的方法来实现。

基本思想

1. 构建关键词的集合
2. 构建以行为关键词出现次数、列为关键词的二维数组
3. 对二维数组进行奇异值分解
4. 数据降维

奇异值分解：将二维数组看作一个m * n的矩阵，将二维数组进行奇异值分解，得到U, s, vh三个数组，u为m * r的矩阵，s为r * r的矩阵，Vh为r * n的矩阵，其中s除对角线外其他值都为0。

代码实现

import numpy as np
import matplotlib.pyplot as plt

title_1 = ['dad', 'dad', 'stock']
title_2 = ['books', 'books', 'value', 'estate']
title_3 = ['books', 'decomposition']
title_4 = ['stock']
title_5 = ['dad']
title_6 = ['vlaue', 'singular', 'decomposition']
title_7 = ['dad', 'singular']
title_8 = ['singular', 'estate', 'decomposition']

words = ['book', 'dad', 'stock', 'value', 'singular', 'estate', 'decomposition']

X = np.array([[0, 2, 1, 0, 0, 0, 0], [2, 0, 0, 1, 0, 1, 0], [1, 0, 0, 0, 0, 0, 1], [0, 0, 1, 0, 0, 0, 0],
              [0, 1, 0, 0, 0, 0, 0], [0, 0, 0, 1, 1, 0, 1], [0, 1, 0, 0, 1, 0, 0], [0, 0, 0, 0, 1, 1, 1]])

U, s, Vh = np.linalg.svd(X) # 左奇异矩阵，奇异矩阵，右奇异矩阵
print('U=', U)
print('U.shape', U.shape)

print('s=', s)
print('s.shape=', s.shape)

print('Vh=', Vh)
print('Vh.shape=', Vh.shape)

plt.axis([-0.8, 0.2, -0.8, 0.8]) # 规定坐标轴范围

# 原每个关键词由1*8的向量表示，现降维成1*2的向量表示
for i in range((len(words))):
    plt.text(U[i, 0], U[i, 1], words[i])
plt.show()

降到二维可视化后，我们可以将关键词聚类，如singular, value和decomposition三个词距离比较近可以被划分为一组， 而stock和estate经常同时出现。
在得到了词的向量表示后，我们就可以根据选取一种向量距离（例如：欧式距离、曼哈顿距离等)计算的方式来计算词间的相似度，从而可以再根据一些策略（例如：词对相似度的和、均值等)得到文章标题之间的相似度，之后我们就可以通过文章标题的相似度来近似表示文章内容的相似度从而完成对文章的聚类。