神经网络优化方法 来自北京大学 人工智能实践视频

1.代价函数

  代价函数，又叫损失函数或成本函数，它是将一个或多个变量的事件阈值映射到直观地表示与该事件。

  a .  二次代价函数     

         w,b 梯度 与激活函数梯度成正比

  b . 对数释然代价函数

  c . 交叉熵代价函数

   对数释然函数+softmax

   交叉熵 +sigmoid

2.激活函数

 

3.学习率：

4.滑动平均：

   滑动平均（影子值）：记录了每个参数一段时间内过往值的平均，增加了模型的泛化性

   泛化即是，机器学习模型学习到的概念在它处于学习的过程中时模型没有遇见过的样本时候的表现。

         影子 = 衰减率*影子+（1-衰减率）*参数     影子初值=参数初值

        衰减率 = min { MOVING_AVERAGE_DECAY, 1+轮数 / 10+轮数}

5.防止过拟合

     a . 增加数据集

     b.  正则化      

       加入正则化可以让某些特征的权重变小或者丢弃掉不要了（经过训练后，这些特征就是前面说的局部特征或噪声）

        ，以达到 防止过拟合的作用

     c . Dropout

         以一定的概率丢弃掉一些神经元，达到防止过拟合的目的。