graph Laplacian:
拉普拉斯矩阵是个非常巧妙的东西,它是描述图的一种矩阵,在降维,分类,聚类等机器学习的领域有很广泛的应用。
拉普拉斯矩阵的性质
性质:
(1) 是半正定矩阵。
(2) 的最小特值为0,对应特向为全1列向量。
(3)对 有 个非负实特征值, .
(4)对于任意一个属于实向量 ,都有此公式成立:
(1) 是半正定矩阵。
(2) 的最小特值为0,对应特向为全1列向量。
(3)对 有 个非负实特征值, .
(4)对于任意一个属于实向量 ,都有此公式成立:
拉普拉斯的应用:
1)拉普拉斯矩阵是一种图的矩阵表示。
2)拉普拉斯映射是在保持原流形数据相似度的情况下,直接降维到低维空间。
3)谱聚类是通过最小割,刚好借助了拉普拉斯映射的思想,从而用携带切割信息的特向来表征原流形数据,再去聚类。(相比于传统聚类,谱聚类更侧重于数据相似度信息的保留,更具有针对性,计算效率也更高)
2)拉普拉斯映射是在保持原流形数据相似度的情况下,直接降维到低维空间。
3)谱聚类是通过最小割,刚好借助了拉普拉斯映射的思想,从而用携带切割信息的特向来表征原流形数据,再去聚类。(相比于传统聚类,谱聚类更侧重于数据相似度信息的保留,更具有针对性,计算效率也更高)
Nonparametric Kernel Matrices 用graph Laplacian来构建,这样label 和unlabel的用来建模,提高了模型的泛化能力。
construct the graph Laplacian L:
D是对角元素
Mercer’s condition 是核函数必须满足的条件。
则目标函数为
v是特征向量,后面求和公式则是损失。
根据变形将前面公式可以变为:
则目标函数可写为:
由于:
则最终的原问题为:
最后则是优化问题,通过转化为对偶问题用kkt条件进行解:
最后用smo算法解决:
参考文献为:
点击打开链接