第十章 降维与度量学习
K近邻学习器(k-Nearest Neighbor,kNN)
是懒惰学习(lazy learning)的代表 投票法、平均法
最近邻学习器和贝叶斯最优分类器:给定的测试样本x,若其最近邻样本为z,则其最近邻分类器出错的概率就是x和z类别标记不同的概率。
Perr=1-c∈YPcxPcz.
维数灾难 高维空间给距离计算带来很大的麻烦。
在高维情形下出现的数据样本稀疏、距离计算困难等问题。
一个方法是降维。
多维缩放方法(Multiple Dimensional Scaling,MDS)寻找一个低维子空间,样本在此空间内的距离和样本原有距离尽量保持不变。
主成分分析(Principal Component Analysis,PCA)
最常用的一种降维方法。正交属性空间中的样本点,如何使用一个超平面对所有样本进行恰当的表达?超平面需要有两个性质:1.最近重构性:样本点到这个超平面的距离都足够近2.最大可分性:样本点在这个超平面的投影能尽可能分开。
PCA应用。d'的设置:用户指定;在低维空间中对k近邻或其他分类器进行交叉验证;设置重构阈值。PCA 是最常用的降维方法,在不同领域有不同的称谓。人脸识别中该技术称为“特征脸”。
非线性降维:核化线性降维KPCE,KLDA;流形学习(manifold leaining)
核化PCA 首先对PCA解的结构进行分析(i=1mziziT)W=λW
W=1λ(i=1mziziT)W=i=1mziziTWλ=i=1mziαi
假定zi是由原始属性空间中样本点通过映射ϕ产生,
即zi=ϕxi,i=1,2,…,m。于是有(i=1mϕxiϕxiT) W=λW
W=i=1mϕxiαi
令κxi,xj=ϕxiTϕ(xj)可得KA=λA,A=(a1,a2,…)
取K中最大的d’个特征值,得到zj=wjTϕx=i=1mαijϕxiTϕx=i=1mαijκ(xi,x)
流形学习(ISOMAP)
…
距离度量学习
…