学习内容
初始化
初始化的重要性
全零初始化
随机初始化
Xavier初始化
He初始化
参数调节
超参数
超参数的调节方法
训练技巧
试错法
网格搜索
随机搜索
贝叶斯优化
心得
初始化要使梯度保持在合理的区间,也不可以是各层的激活值为0或1。
相对来说,全零初始化很难达到训练的要求,难以提取到有用的特征值。而随机初始化对随机分布的选择要求较高,选择不当会使梯度弥散,降低收敛速度,或使神经元易于饱和。Xavier初始化解决了前两种初始化问题,但没考虑激活函数对数据分布的影响,有一定缺陷。H初始化在保证输入输出方差一致的同时,考虑了激活函数对数据分布的影响。
对于超参数调节,在资源条件充足的情况下,贝叶斯优化是最优的方法。但如果处在设计阶段或是资源并不充裕的情况下,随机搜索和网格搜索也是可以尝试采用的。