graph Laplacian:
拉普拉斯矩阵是个非常巧妙的东西,它是描述图的一种矩阵,在降维,分类,聚类等机器学习的领域有很广泛的应用。
拉普拉斯矩阵的性质
性质:
(1) 是半正定矩阵。
(2) 的最小特值为0,对应特向为全1列向量。
(3)对 有 个非负实特征值, .
(4)对于任意一个属于实向量 ,都有此公式成立:
(1) 是半正定矩阵。
(2) 的最小特值为0,对应特向为全1列向量。
(3)对 有 个非负实特征值, .
(4)对于任意一个属于实向量 ,都有此公式成立:
拉普拉斯的应用:
1)拉普拉斯矩阵是一种图的矩阵表示。
2)拉普拉斯映射是在保持原流形数据相似度的情况下,直接降维到低维空间。
3)谱聚类是通过最小割,刚好借助了拉普拉斯映射的思想,从而用携带切割信息的特向来表征原流形数据,再去聚类。(相比于传统聚类,谱聚类更侧重于数据相似度信息的保留,更具有针对性,计算效率也更高)
2)拉普拉斯映射是在保持原流形数据相似度的情况下,直接降维到低维空间。
3)谱聚类是通过最小割,刚好借助了拉普拉斯映射的思想,从而用携带切割信息的特向来表征原流形数据,再去聚类。(相比于传统聚类,谱聚类更侧重于数据相似度信息的保留,更具有针对性,计算效率也更高)
Nonparametric Kernel Matrices 用graph Laplacian来构建,这样label 和unlabel的用来建模,提高了模型的泛化能力。
construct the graph Laplacian L:
![](https://i-blog.csdnimg.cn/blog_migrate/1eaee7bd4328f54327f2f9432fdf53c7.png)
![](https://i-blog.csdnimg.cn/blog_migrate/00731f037292f9f51f2591142516253d.png)
D是对角元素
Mercer’s condition 是核函数必须满足的条件。
则目标函数为
![](https://i-blog.csdnimg.cn/blog_migrate/52c72d4dcd7e5e4a0c14c08cfc6813f7.png)
v是特征向量,后面求和公式则是损失。
根据变形将前面公式可以变为:
![](https://i-blog.csdnimg.cn/blog_migrate/15c56417e0471d61290dd05ca29c496c.png)
则目标函数可写为:
![](https://i-blog.csdnimg.cn/blog_migrate/3efea72054522b56130d1e183bae554a.png)
由于:
![](https://i-blog.csdnimg.cn/blog_migrate/3ee7bf8cfe2122d5443455133dce65d1.png)
则最终的原问题为:
最后则是优化问题,通过转化为对偶问题用kkt条件进行解:
![](https://i-blog.csdnimg.cn/blog_migrate/02bb73cea863f02959b0b80b516f6ba2.png)
![](https://i-blog.csdnimg.cn/blog_migrate/47b801262445146043ed1887d15c1fd7.png)
最后用smo算法解决:
![](https://i-blog.csdnimg.cn/blog_migrate/0446188c6098dad7a7d8010daac995e8.png)
参考文献为:
点击打开链接