BP tricks

原创 2016年08月31日 14:16:05
  1. 对输入输出数据标准化
  2. 选用的激活函数为:f(x)=1.7159tanh(2x/3)
  3. 参数初始化:参数就应该从一个均值为0,标准差为σw=m-1/2的分布(例如正态分布)中采样得到。
  4. 学习率:
    A、 给每个参数自己的学习率;
    B、 学习率应该和该节点的输入个数的平方根成比例;
    C、 低层参数的学习率应该比高层的大。
    自适应学习率

参考文献:
[1] LeCun等.“Neural Networks: Tricks of the Trade”第一章 Efficient BackProp

版权声明:本文为博主原创文章,未经博主允许不得转载。 举报

相关文章推荐

神经网络训练中的Tricks之高效BP(反向传播算法)

Tricks!这是一个让人听了充满神秘和好奇的词。对于我们这些所谓的尝试应用机器学习技术解决某些问题的人,更是如此。曾记得,我们绞尽脑汁,搓手顿足,大喊“为什么我跑的模型不work?”,“为什么我实现...
返回顶部
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)