Deep Learning从入门到出世（三）

三. 深度研究

这一部分介绍了当时比较前沿的主题和一些其它技术。在致敬Hinton的深度信念网络之后，推销自己的生成对抗模型，后来果然大火。

1. 蒙特卡洛方法(Monte Carlo)

Las Vegas和Monte Carlo这两个词本身是两座著名赌城，因为赌博中体现了许多随机算法，所以借过来命名。

• Las Vegas 总是精确地返回一个正确答案，但不保证能找到。假如有一把锁，给我100把钥匙，只有1把是对的。于是我每次随机拿1把钥匙去试，打不开就再换1把。我试的次数越多，打开（最优解）的机会就越大，但在打开之前，那些错的钥匙都是没有用的。这个试钥匙的算法，就是Las Vegas
• Monte Carlo 采样越多，越有机会找到最优解。假如筐里有100个苹果，让我每次闭眼拿1个，挑出最大的。于是我随机拿1个，再随机拿1个跟它比，留下大的，再随机拿1个……我每拿一次，留下的苹果都至少不比上次的小。拿的次数越多，挑出的苹果就越大，但我除非拿100次，否则无法肯定挑出了最大的。这个挑苹果的算法，就属于Monte Carlo，尽量找好的，但不保证是最好的。

蒙特卡罗方法始于20世纪40年代，和原子弹制造的曼哈顿计划密切相关，当时的几个大牛，包括乌拉姆、冯.诺依曼、费米、费曼、Nicholas Metropolis，在美国洛斯阿拉莫斯国家实验室研究裂变物质的中子连锁反应的时候，开始使用统计模拟的方法,并在最早的计算机上进行编程实现。
有一个重要的过渡问题就是给定一个概率分布$p(\mathbf{x})$，如何在计算机中生成它的样本(如何采样)?

2. 采样

• Why Sampling ?

  • Provides a flexible way to approximate many sums and integrals at reduced cost.
  • To approximate an intractable sum or integral.
  • Need to sample from the training distribution.

• 大数定理 （Law of large number）
  $$\underset{n\to \infty }{\lim }P(|\overline{X}-\mu |<\epsilon )=1$$

• 蒙特卡洛采样(Monte Carlo Sampling)
  $$\frac{1}{n}\sum _{i=1}^{n}f(x^{(i)})\approx \underset{n\to \infty }{\lim }\frac{1}{n}\sum _{i=1}^{n}f(x^{(i)})=\sum _{\mathbf{x}}p(\mathbf{x})f(\mathbf{x})=E_p[f(\mathbf{x})]$$
  当年学概率论的时候感觉它只是在形式上变来变去，无法体会其意义。
  $p(\mathbf{x})$ 是随机变量$\mathbf{x}$(独立同分布 i.i.d)的概率分布，当 $p(\mathbf{x})$不是那么直接的可以得到，但是由 $p(\mathbf{x})$产生的样本比较容易获得的时候，可以通过对$\mathbf{x}$，进行抽样绕过显示的$p(\mathbf{x})$表达。

• 重要采样（Importance Sampling）
  An important step in the decomposition of the integrand is to decide which part should play the role the probability $p(\mathbf{x})$
  $$p(\mathbf{x})f(\mathbf{x})=q(\mathbf{x})\frac{p(\mathbf{x})f(\mathbf{x})}{q(\mathbf{x})}$$
  where we now sample from $q$ and average $\frac{pf}{q}$. The optimal $q^{\ast }$ corresponds to what is called optimal $\text{importance sampling}$.
  Any Monte Carlo estimator
  $${\hat{s}}_p=\frac{1}{n}\sum _{i=1,{\mathbf{x}}^{(i)}\backsim p}^{n}f({\mathbf{x}}^{(i)})$$
  can be transformed into an importance sampling estimator
  $${\hat{s}}_q=\frac{1}{n}\sum _{i=1,{\mathbf{x}}^{(i)}\backsim q}^n\frac{p({\mathbf{x}}^{(i)})f({\mathbf{x}}^{(i)})}{q({\mathbf{x}}^{(i)})}$$

• 马尔可夫链蒙特卡洛方法（MCMC）
  引入这个的原因是当我们希望采用蒙特卡洛方法时，往往不存在一种简单的方法可以直接从目标分布$p_{model}(\mathbf{x})$中精确采样或者一个方差较小的重要采样分布$q(\mathbf{x})$。其核心思想是满足一定假设条件下从某个任意值的状态$\mathbf{x}$出发，随着时间推移，随机反复更新状态$\mathbf{x}$。最终$\mathbf{x}$成为了一个从$p(\mathbf{x})$中抽出的比较一般的样本。即对于转移分布$T({\mathbf{x}}^{{}^{\prime }}|\mathbf{x})$，从$q(\mathbf{x})$中采样反复更新
  $$\mathbf{x}\leftarrow {\mathbf{x}}^{{}^{\prime }}\sim T({\mathbf{x}}^{{}^{\prime }}|\mathbf{x})$$

• 吉布斯采样（Gibbs Sampling）
  我们希望马尔可夫链的$q(\mathbf{x})$就是$p_{model}(\mathbf{x})$，吉布斯采样就是为了解决这个问题，它选取合适的$T({\mathbf{x}}^{{}^{\prime }}|\mathbf{x})$，构造了一个从$p_{model}(\mathbf{x})$中采样的马尔可夫链进行采样。

3. 优化方法

在凸优化和数值优化两本书里面有很详尽的解释。

• SGD
• 带动量的SGD
• Adam
• 牛顿法
• 共轭梯度
• BFGS

- [1] Pattern Recognition and Mechine Learning. Christopher M.Bishop. Spring 2006.

- [2] Deep Learning. Ian Goodfellow. MIT Press 2016

- [3] Numerical Optimization.Jorge Nocedal and Stephen J.Wright.Springer 1999.

- [4] Convex Optimization. Stephen Boyd. Cambridge University Press 2004.

- [5] Machine Learning in Action. Peter Harrington. 2013.