part1.optimization
1.为什么需要代理损失函数?因为我们真正关心的损失函数通常不容易优化,比如0-1期望loss。因此我们使用代理损失函数来近似,优势是可导,比如用负对数似然NLL。
2.即使expected 0-1 loss 为0,但NLL还是会持续减小,即令类间的距离再被分的更大一些,从而更鲁棒。
3.为了防止过拟合,通常会在梯度还比较大的时候停止early stopping,但是单纯的优化来讲,一般会在梯度接近0的时候才停止。
4.Batch:
1)不要用大batch size.比如对于n个样本的估计标准差,将样本从100增加到10000,计算增加了100倍,而标准差只降低了10倍(delta / sqrt (n) ),非线性回报,不划算。
2)估算近似梯度比计算准确梯度要快收敛,因为训练集数据会有redundancy,大量样本对于梯度的贡献类似。
3)online:一次用一个样本来更行,batch:一次用所有样本,minibatch:介于前两者之间
5.mini batch
1)多核结构下,太小的batch不能充分发挥性能
2)如果是并行运算,需要大内存,从而限制batch size
3)通常选32-256
4)通常batch size = 1时泛华误差最小(由于学习过程中引入噪声,可以看做是一种正则化),但由于梯度方差太大,需要减小learning rate使得学习稳定,但是会消耗更多时间,需要更多步去看完所有的样本。
5)二阶的牛顿法,需要使用较大的batch size(10000),以最小化H-1g的波动;由于g的小波动会被放大,并且H-1是估计值,进一步放大误差。
6)保证minibatch是随机选取的,样本不会重复出现。但是一般先打乱再存储为固定的顺序就可以了。这样只有在第一遍看的时候对于泛化误差的估计是无偏的。后面的epoch都是有偏的,因为第一遍都看过了这些数据,而不是从数据分布中采样的新的样本。
7)训练集足够大的时候过拟合不是问题,主要考虑欠你和与计算效率。
5.momentum解决两个问题:
1)poor conditioning of hessian matrix
2)variance in the stochastic gradient
part2.优化的挑战
1.ill condition的判断:监视梯度二范式g’g和g’Hg,通常g'g不会显著减小,但是g’Hg会迅速增长,所以lr要变小
2.局部最优:即使设计关于x的凸函数作为cost fun,该函数关于参数w1,w2仍是非凸函数。
3.模型唯一性:有足够大的训练集,使得模型排除掉所有参数,只保留一组参数。但是一般情况下没有那么多数据,因此模型非唯一性是普遍存在的问题。会带来多个局部最优。如果cost fun不包含weight decay这种直接依赖于权重而不是输出的项的话,那么假如对输入weight&bias放大a倍,输出放大1/a,这种是除了权重对称之外,也能带来模型唯一性的原因。
part3.初始化策略
1.初始化需要打破权重对称
2.较大初始值
优点:
1)有较强的破坏对称能力,避免冗余单元
2)避免信号在前向、反向过程中丢失
缺点:
1)梯度爆炸 + chaos(对小扰动敏感)
2)激励函数变平坦(sigmoid,位于梯度接近0的区域)
3.策略:
优化角度:权重要足够大可以成功传递信息
正则化角度:权重要小
一些方法比如SGD,会在初始值附近停止,表达的先验是最终的参数应该位于初始值附近。
4.初始化FC,折中办法:初始化使得所有层有相同的激励方差,以及相同的梯度方差。
5.但是上述办法一般不work:在整个网络中保持信号未必是有益的,开始学习后不应该保持初始值,也许能加速优化,但是会提高泛化误差。
6.稀疏初始化:有更多的多样性
先验:缩小错误大梯度需要下降很多次
7.计算资源允许的话:
1)将初始比例作为每层的超参数
2)将是否稀疏作为超参数
8.一般将 bias设置为0,除非以下情况:
bias是输出单元的值,需要匹配边缘分布;避免saturation(RELU),作为门控制其他单元的时候(b=1 for LSTM)
part4.Batch Normalization
0.公式
假设H是一个要做BN的层的minibatch的响应
H’ = (H - u)/ delta //逐行归一化
训练时:
u = 1/m * sum(Hi)
delta = sqrt( 10^-8 + 1/m * sum(Hi - ui)^2 )
在训练的时候用移动平均(类似于momentum)的方式更新batch mean和variance,训练完毕,得到一个相对比较稳定的mean和variance,存在模型中。
测试的时候,就直接用模型中的均值和方差进行计算
1.假设x是单位高斯分布,那么对于y = x*w1*w2*…*wl, h(l-1)也是高斯的,但是已经不是单位高斯分布了。有BN之后,h(l-1)不会受到每次更新的影响,使得学习变得更容易。因为BN归一化了一阶和二阶的统计量,这是一个线性网络所能影响的全部。但是对于非线性网络,底层还是对结果有影响。
2.为什么先将mean设为0,在引入beta将其还原到任意值?
因为新参数可以表达旧参数所表示的相同的函数。在旧参数中,mean(H)由在H之前的层之间的参数的复杂关系所决定。而在新参数中,mean(rH’ + beta)只由beta决定,它更容易通过梯度下降学到。
3.归一化 X or WX + b?why not X?
X经过前一层的非线性映射,更不高斯,更难通过线性操作做标准化。
part5.pre-training
本质是一种贪心算法,将原问题分成两个阶段, 再分别求最优解。计算复杂度低,结果不是最优但是可以接受。
为什么起作用?
因为它是对深层结构中间层提供引导。可以参考Fitnet