流型Charting

*流形Charting 算法

**基本思想

Brand提出的流形Charting方法是一泓基于局部领域差异保持的流形学习方法。基本思想是通过Charting来将样本高位数据分为若干个局部领域，针对每一个局部领域建立局部坐标系。然后通过一种仿射关系统一到一个坐标系中，实现高位数据到低纬的统一映射。

**算法步骤

1）Charting

首先将原始数据分割成多个局部线性的领域，然后将这些领域分别投影到相应的子空间，在投影过程中需要注意以下标准:

1）原始空间构成所在领域的样本点投影到子空间后，其局部的协方差损失要最小。

2）在原始空间构成所在领域的样本点投影后到子空间还是在这个样本点投影的领域可能性最大。

对于每一个领域可以分别采用高斯模型建模，也就是每一个领域的中心点就是这个领域所有样本点的均值，其所在坐标轴有该领域所有样本点的协方差矩阵对应的特征向量张成，并且坐标轴的数量由该领域所有样本点的协方差的特征值得个数决定。如果一个样本点正好落在该领域范围内，那么该领域中所有样本点的协方差矩阵的非零特征值的个数就是该子流形的特征维数，并且由这些非零特征值对应的特征向量为轴组成的局部坐标系是最优的，能够实现投影前后局部领域样本点协方差矩阵保持不变，所以对于所有局部领域，可以采用一个混合高斯模型进行建模，建模基于混合高斯模型最大似然目标函数，从而进行的最优值求解，满足第一个标准。

第二个标准隐含了要求是:在领域的划分过程中，相应领域所投影的子空间应该具有相同的坐标轴，也就是所对应投影子空间尽量相似。因为如果子空间不相似导致一个高维样本点在对应投影子空间内不一致。那么最终无法确定该高维样本在低纬空间上的确切投影。在对于每一个领域建立高斯模型的基础上，领域之间的相似度度量可以采用两个高斯模型的交叉熵表示。

高斯模型交叉熵可以测量不同领域的规模，方向和位置的不同，当模型的可变量的项为0的时候，意味着两个领域的重合度达到最大。

2）连接

对于以上划分的局部领域，分别采用PCA技术得到降序排列的特征值，从而得到对应的局部坐标系，组合这些坐标系并且映射到一个统一的坐标中，实现高维数据到低维数据的降维过程，在这个过程中，对于每一个领域使用一个低维仿射变换，将这些局部坐标映射到统一坐标。这个仿射变换的求解可以转化为一个表示求解加权最小值的优化问题。

***算法分析

可以较好的实现具有复杂结构的高维数据转换，特别是包含有噪声信息的数据可以较好地学习其几何结构。缺点是要付出极大地计算成本。