《深度学习》(美)Ian Goodfellow 花书简要笔记（第三部分：深度学习研究）（完）

本部分是花书的最后一部分，也是目前DL领域的研究前沿。

第13章 线性因子模型

1、线性因子模型：基于潜变量的概率模型，通过对h的线性变换以及添加噪声来生成。描述为如下的数据生成过程：

• 从一个分布（p(h)是一个因子分布）中抽取解释性因子h：h~p(h)
• 对实值的可观察变量进行采样：x = Wh + b + noise
  #噪声通常是对角化（维度上是独立的）的且服从高斯分布。

2、概率PCA和因子分析

• 因子分析：从变量群中提取共性因子的统计技术。
  #潜变量的作用是捕获不同观测变量xi之间的依赖关系。

• 概率PCA
  #利用现象：除了一些微小残余的重构误差，数据中的大多数变化可以由潜变量h描述。

3、独立成分分析ICA

• ICA与PCA的区别与联系，参考地址：https://blog.csdn.net/hellocsz/article/details/80727962
  #ICA经常用于学习稀疏特征
  #非线性扩展NICE——非线性独立成分估计（能高效地计算每个变换的Jacobian行列式）
• 两个推广：（1）非线性自编码器；（2）通过鼓励组内统计依赖关系、抑制组间依赖关系来学习特征组。
  #独立子空间分析
  #地质ICA（应用于图像，可学习Gabor滤波器（从而使得相邻特征具有相似的方向、位置或频率。在每个区域内Gabor函数的许多不同相位存在抵消作用，使得在小区域上的池化产生了平移不变性））

4、慢特征分析SFA：使用来自时间信号的信息学习不变特征的线性因子模型。

• 慢性原则的基本思想：与场景中起描述作用的单个量度相比，场景的重要特性通常变化得十分缓慢。
• SFA算法
• 一个优点：即使在深度非线性条件下，它依然能够在理论上预测SFA能够学习到哪些特征。

5、稀疏编码
#补laplace、cauchy和student-t分布基础知识
稀疏编码：线性因子模型，在模型中推断h值的过程。
稀疏建模：设计和学习模型的过程。

6、PCA的流形解释

第14章 自编码器

1、欠完备自编码器：编码维度小于输入维度的自编码器。（强制自编码器捕捉训练数据中最显著的特征）
#若赋予过大的容量