k近邻学习:
给定测试样本,基于某种距离测量找到训练集上与其最靠近的k个样本,根据这k个样本的信息预测测试样本,一般用投票法。也可以用线性加权的方法,距离越远,权重越小。
算法:一般选取一个较小的数值,通常采取交叉验证的方法求最优的k值。
降维:
线性降维(主成分分析法)
用特征值和特征向量近似还原协方差矩阵,通过选取比较大的特征值来达到降维的目的。(相似矩阵)
核化线性降维
首先将原始空间映射到更高维空间,然后用线性降维的方法,使高维空间映射到低维空间。
流形学习:
- 等度量映射