深度学习日常笔记

批量归一化（BatchNormalization）

对输入的标准化（浅层模型）
处理后的任意一个特征在数据集中所有样本上的均值为0、标准差为1。
标准化处理输入数据使各个特征的分布相近

批量归一化（深度模型）
利用小批量上的均值和标准差，不断调整神经网络中间输出，从而使整个神经网络在各层的中间输出的数值更稳定。

1.对全连接层做批量归一化
位置：全连接层中的仿射变换和激活函数之间。
全连接：

2.对卷积层做批量归⼀化
位置：卷积计算之后、应⽤激活函数之前。
如果卷积计算输出多个通道，我们需要对这些通道的输出分别做批量归一化，且每个通道都拥有独立的拉伸和偏移参数。 计算：对单通道，batchsize=m,卷积计算输出=pxq 对该通道中m×p×q个元素同时做批量归一化,使用相同的均值和方差。

3.预测时的批量归⼀化
训练：以batch为单位,对每个batch计算均值和方差。
预测：用移动平均估算整个训练数据集的样本均值和方差。

残差网络（ResNet）

深度学习的问题：深度CNN网络达到一定深度后再一味地增加层数并不能带来进一步地分类性能提高，反而会招致网络收敛变得更慢，准确率也变得更差。

残差块（Residual Block）¶
恒等映射：
左边：f(x)=x
右边：f(x)-x=0 （易于捕捉恒等映射的细微波动）
如图所示 残差网络就是再输入和输出中比之前有不同。

优化与估计

尽管优化方法可以最小化深度学习中的损失函数值，但本质上优化方法达到的目标与深度学习的目标并不相同。

优化方法目标：训练集损失函数值
深度学习目标：测试集损失函数值（泛化性）

梯度下降

一维梯度下降
证明：沿梯度反方向移动自变量可以减小函数值


多维本质就是求每个维度变量偏导，然后在进行梯度下降。可以参考下图

随机梯度、批量、小批量梯度下降区别
每次更新样本量的不同，也就是常说的batch_size，分别为
全部样本、一个样本、大于一个小于全部样本。

其中使用随机梯度下降呢会有可能产生抖动现象，如下图，就是说是在最小值附近不停徘徊。

这个问题的出现就是因为学习率参数的问题，可以从图中看出来，为了解决这个问题，可以使用几个函数来动态学习率。

也可以采用自适应方法，如牛顿法、共轭梯度法，其本质也是调整学习率来进行的，为了减少迭代次数加速收敛。

GAN对生成对抗网络

目的是为了产生数据集的真实子集，其中有两个网络进行对抗学习，DCGAN本质上为使用卷积网络来构造子集。