UCAS - AI学院 - 计算机视觉专项课 - 第11讲 - 课程笔记

CV中的机器机器学习方法

子空间分析

• 怎样处理大数据量、高维数、非结构化的数据

  • 直接在高维数据上处理

    • 维数灾难：满足一定统计指标的模型(精度)，需要的样本数量(模型复杂程度、模型表示长度)随维数增加指数增长

    • 特征和特征之间是冗余的，信息量不一样

  • 降维后再对低维数据进行处理

    • 子空间分析：把高维空间中松散分布的样本，通过线性或非线性变换压缩到一个低维子空间中，使样本的分布更紧凑、更利于分类，同时降低复杂度

  • 升到更高维度上再进行处理

    • 稀疏表达

• 主成分分析方法（PCA）

  • 基本思想：将多个变量线性变换选出较少重要变量，其尽可能保持原有信息

  • 数学表述：寻找投影映射​，使样本从​维降到​维（​），同时最小化平方误差

  • 表示

    • 训练样本集：​

    • 样本均值：​

    • 散度矩阵：​

    • 投影后数据：​

  • 目标：重构误差最小

    • ​

    • ​

    • ​

  • 对​进行特征值分解，取其最大的一组特征值对应的​个特征向量组成的子空间即为所求

  • 应用：特征脸‘

    • 人脸表述：基于得到的投影矩阵​，每张人脸可以由一个​维向量表示

    • 人脸识别：对于一张输入的人脸图像，计算其低维表述，分类​

  • 非监督算法，可以找到很好代表所有样本的方向，但未必是最有利的

  • 鲁棒PCA：

    • ​

    • 松弛方法​

• 独立成分分析方法（ICA）

  • 从多个源信号的线性混合信号中分离出源信号的技术

  • 假设：源信号统计独立

  • 数学表示

    • ​

    • ​

  • 应用：人脸识别

    • 独立基图像

    • 因子表示

• 线性判别分析方法（LDA）

  • 有监督维数约简方法

  • Fisher判别原则（FDP）：寻找投影​，使投影后样本类内散度最小，类间散度最大

  • 类内散度​

  • 类间散度​

  • 总体散度​

  • 优化目标：​

  • 求解：转化为广义特征值问题​，​非奇异（样本数要大于特征数），​

  • 奇异问题：小样本问题

    • PCA降维，确保​非奇异

    • 直接在​零空间求解最最优投影

    • 扰动法：​对角上加入扰动，使其非奇异

  • 不足：现实中数据的有用特性往往不是特征的线性组合

流形学习

• 流形：如果一个​维的拓扑空间​内的任意一点都存在一个邻域​使得该邻域是​维欧氏空间的同胚，则这个拓扑空间​被称为流形

• 流形学习：令​是包含在欧氏空间​的​维域，​为光滑嵌入，其中​ 。数据点 ​是随机生成的，经​映射，形成观察空间的数据​。一般称​为隐空间， ​为隐数据。流形学习的目标是要从观察数据​中重构​和​。

  • 流形是线性子空间的一种非线性推广

  • 流形是一个局部可坐标化的拓扑空间

• 可行性

  • 许多高维采样数据都是由少数几个隐含变量所决定

  • 从认知心理学角度， 心理学家认为人的认知过程基于认知流形和拓扑连续性

• 局部线性嵌入（LLE）：在样本集结构不满足全局线性结构时，样本空间与内在低维子空间之间在局部意义下的结构可以用线性空间近似

  • ​

  • 权值计算：​

  • 学习目标：​

  • 算法流程

    1. 构建邻域。对于原始空间任一给定样本点，用​近邻法得到它的一组邻域点

    2. 计算权值。在第2步用权值​描述原始空间任一点与其邻域的关系

    3. 嵌入。最后的嵌入通过最小化误差来保留尽可能多的原空间几何性质

  • Pros

    • 可以学习任意维数的低维流形

    • 待定参数很少，​和​

    • 每个点的近邻权值在平移、旋转、伸缩变换下是保持不变的

    • 有解析的整体最优解，不需迭代

    • 归结为稀疏矩阵特征值计算， 计算复杂度相对较小， 容易执行

  • Cons

    • 要求所学习的流形只能是不闭合的且在局部是线性的

    • 要求样本在流形上是稠密采样的

    • 参数有过多的选择

    • 对样本中的噪音很敏感

• 等距映射Isomap

  • 多维尺度变换MDS：非监督的维数约简方法

    • 基本思想：约简后低维空间中任意两点间的距离应该与它们在原始空间中的距离相同

    • 求解：通过适当定义准则函数来体现在低维 空间中对高维距离的重建误差，对准则函数用梯度下降法求解，对于某些特殊的距离可以推导出解析解法

  • 主要思想：建立在多维尺度变换（MDS）的基础上，力求保持数据点的内在几何性质——测地距离

  • 算法流程

    1. 在样本集上构建近邻图​。如果样本​和​之间距离小于某个阈值,或者他们为​-近邻，则连接​和​

    2. 计算样本两两之间测地距离（Dijkstra算法），建立测地距离矩阵​

    3. 利用MDS算法构造内在​维子空间，最小化​

  • 特点

    • 非线性的，适用于学习内部平坦的低维流形，不适于学习有较大内在曲率的流形

    • 算法中有两个待定参数​，​

• 拉普拉斯特征映射Laplacian Eigenmap

  • 主要思想：在高维空间中离得很近的点投影到低维空间中的像也应该离得很近

  • 最小化目标函数：​

  • 方法P81

  • 特点P82

• 流形方法有效的原因

  • 非参数的方法，不需要对流形的很多的参数假设

  • 非线性的方法，都基于流形的内在几何结构，更能体现现实中数据的本质

  • 求解简单，都转化为求解特征值问题，而不需要用迭代算法

RNN

（因为比较熟，所以除非特殊知识点，要不然就忽略了）