华为深度学习（第三周）

学习内容

---

初始化

初始化的重要性

 

 全零初始化

 随机初始化

 Xavier初始化

 He初始化

 参数调节

 超参数

 超参数的调节方法

训练技巧

 

 试错法

 

 网格搜索

随机搜索

 

贝叶斯优化

 

 

心得

初始化要使梯度保持在合理的区间，也不可以是各层的激活值为0或1。

相对来说，全零初始化很难达到训练的要求，难以提取到有用的特征值。而随机初始化对随机分布的选择要求较高，选择不当会使梯度弥散，降低收敛速度，或使神经元易于饱和。Xavier初始化解决了前两种初始化问题，但没考虑激活函数对数据分布的影响，有一定缺陷。H初始化在保证输入输出方差一致的同时，考虑了激活函数对数据分布的影响。

对于超参数调节，在资源条件充足的情况下，贝叶斯优化是最优的方法。但如果处在设计阶段或是资源并不充裕的情况下，随机搜索和网格搜索也是可以尝试采用的。