1 非线性激励函数
- sigmoid:
11+e−x11+e−x - tanh:
tanhtanh - softplus:
log(1+ex)log(1+ex) - Relu:
max(x,0)max(x,0)
1.1 作用
对于无非线性激励函数情况,每一层网络输出都为线性函数,可验证无论神经网络层数多少,输出都是输入的线性组合,意味着单层网络也可实现,这也是最原始的感知机。
引入非线性激励函数,使得深层神经网络变得有意义,也能模拟更复杂的模型。
1.2 Relu vs (sigmoid tanh)
- 使用sigmoid tanh作激活函数时,计算量大,反向传播求误差梯度时,求导计算量也很大。
- sigmoid tanh函数容易饱和,出现梯度消失情况,即在接近收敛时,变换太缓慢,造成信息丢失。
- Relu会使部分神经元输出为0,造成稀疏性,不仅缓解了过拟合,也更接近真实的神经元激活模型。
- 缩小与做预训练的差距
2 关于深度学习中的预训练
2.1 为什么预训练
深度网络存在以下缺点:
- 网络越深,需要的训练样本数越多。若用监督则需大量标注样本,不然小规模样本容易造成过拟合。(深层网络意味着特征比较多,机器学习里面临多特征:1、多样本 2、规则化 3、特征选择)
- 多层神经网络参数优化是个高阶非凸优化问题,常收敛较差的局部解。
- 梯度扩散问题。BP算法计算出的梯度随着深度向前而显著下降,导致前面网络参数贡献很小,更新速度慢。
解决方法:逐层贪婪训练。无监督预训练(unsupervised pre-training)即训练网络的第一个隐藏层,再训练第二个…最后用这些训练好的网络参数值作为整体网络参数的初始值。无监督学习→→参数初始值;监督学习→→fine-tuning,即训练有标注样本。经过预训练最终能得到比较好的局部最优解。
2.2 常用预训练方法
- Stacked RBM
- Stacked sparse-autoencoder
- Stacked denoise-autoencoder
2.3 Why does unsupervised pre-training help deep learning?
(该部分内容整理自D Erhan等人的论文http://machinelearning.wustl.edu/mlpapers/paper_files/AISTATS2010_ErhanCBV10.pdf)
2.3.1预训练的效果
1.测试误差即泛化能力(多次随机选取初始点后的统计结果)
有预训练 | 无预训练 |
---|---|
误差小 | 误差大 |
深度增大时,鲁棒性更好,方差更小 | 深度增大时,鲁棒性差,得到差的局部最优解概率增大 |
2.特征角度
fine-tuning对神经网络权值改变很小,似乎权值被困在某个局部区域。而且第一层改变最少,第二层次之…最后一层最大。这说明浅层的权值参数似乎是把参数整体限制在某个范围,即浅层权值对结果影响比较大,然而BP算法会出现梯度消失,即不容易改变浅层的权值参数。
3.模型轨迹
![](https://i-blog.csdnimg.cn/blog_migrate/2e386bd4733254b8b87e7a3f85fff537.png)
局部最优解有很多 。无预训练不同初始值收敛到不同局部点,收敛点的扩散性;预训练会更偏向某些点,收敛点的收敛性。
2.3.2 预训练在深层次网络学习中的角色
假设1:预训练使得权值参数在最优参数的周边范围(与预训练相同统计特征的参数进行fine-tuning,发现结果并不如预训练) 假设2:预训练使得最优化过程更有效(计算training error,事实上随着迭代进行,该值无训练更小)
假设3:预训练类似于规则化权值(从测试误差来说,预训练对于多节点数和深层网络效果更加!)
![](https://i-blog.csdnimg.cn/blog_migrate/850235a2086ac84393880a52d7eee645.png)
但是预训练规则化又不同于经典的规则化(L1/L2), 训练数目越多,预训练结果越好。
该论文也说明了基于pre-training的深度学习网络,当满足 大数据、深层次、多节点网络 ,效果更优。
参考资料
http://blog.sina.com.cn/s/blog_628b77f80102v41z.html
http://machinelearning.wustl.edu/mlpapers/paper_files/AISTATS2010_ErhanCBV10.pdf
https://www.researchgate.net/publication/259399568_Why_does_the_unsupervised_pretraining_encourage_moderate-sparseness