学习笔记：机器学习之Learning Nonparametric Kernel Matrices from Pairwise Constraints

 graph Laplacian：

拉普拉斯矩阵是个非常巧妙的东西，它是描述图的一种矩阵，在降维，分类，聚类等机器学习的领域有很广泛的应用。

拉普拉斯矩阵的性质

　　 性质： 
　　（1） 是半正定矩阵。 
　　（2） 的最小特值为0，对应特向为全1列向量。 
　　（3）对 有 个非负实特征值， . 
　　（4）对于任意一个属于实向量 ，都有此公式成立： 

拉普拉斯的应用：

       1）拉普拉斯矩阵是一种图的矩阵表示。 
　　2）拉普拉斯映射是在保持原流形数据相似度的情况下，直接降维到低维空间。 
　　3）谱聚类是通过最小割，刚好借助了拉普拉斯映射的思想，从而用携带切割信息的特向来表征原流形数据，再去聚类。（相比于传统聚类，谱聚类更侧重于数据相似度信息的保留，更具有针对性，计算效率也更高） 

Nonparametric Kernel Matrices 用graph Laplacian来构建，这样label 和unlabel的用来建模，提高了模型的泛化能力。

 construct the graph Laplacian L：

    

D是对角元素   

Mercer’s condition 是核函数必须满足的条件。

则目标函数为

v是特征向量，后面求和公式则是损失。

根据变形将前面公式可以变为：

则目标函数可写为：

由于：

则最终的原问题为：

最后则是优化问题，通过转化为对偶问题用kkt条件进行解：

最后用smo算法解决：

参考文献为：     点击打开链接