Paper View:What Do We understand About Convolutional Networks

Two questions:

从学习层面，到底学到了什么？

从结构层面，为什么某些结构的效果会更好？层数、过滤器数、池化、非线性层选择的对最终效果的影响。

Chapter 2 :

present the mostsuccessfun architectures

Chapter 3:

each one of the building blocks of typical CNN

discuss thedesign of the different components from both biology and theoretical perspectives

Chapter 4:

describe the current trends in CNN design and outstanding shortcoming that remain

1 .

RBM（受限玻尔兹曼机）

依靠RBM的神经网络被用作一种自动编码器，第一次被成功用于人脸识别应用上的降维处理。

自动编码器：编码器将输入转变为特征向量，解码器再将特征向量映射回输入空间。通过最小化输入与重构版本之间的重构误差来学习自动编码器的参数。

2 . RNN

缺点：

梯度消失或者梯度爆炸：因为累加梯度（权值共享）的原因，如果权值很小则会发生梯度消失，如果权值很大则会发生梯度爆炸。

训练长序列数据能力有限

3 . LSTM:

缓解了梯度消失和梯度爆炸

由三个门和一个记忆模块控制：

input gate：由当前输入和前一状态控制

激活函数一般为sigmoid

forget gate: 同样由当前输入和前一状态控制，但使用的是另一套参数

output gate:

memory cell state:

4. CNN

5.GANnets

目标：生成器的输出在识别器里得到50%的真数据和假数据标签

5.1 成功应用：

文本生成图像(text to image synthesis)

超分辨图像生成(image super resolution)

图像修补（image inpainting）

纹理合成（texture synthesis）