BP tricks

原创 2016年08月31日 14:16:05
  1. 对输入输出数据标准化
  2. 选用的激活函数为:f(x)=1.7159tanh(2x/3)
  3. 参数初始化:参数就应该从一个均值为0,标准差为σw=m-1/2的分布(例如正态分布)中采样得到。
  4. 学习率:
    A、 给每个参数自己的学习率;
    B、 学习率应该和该节点的输入个数的平方根成比例;
    C、 低层参数的学习率应该比高层的大。
    自适应学习率

参考文献:
[1] LeCun等.“Neural Networks: Tricks of the Trade”第一章 Efficient BackProp

版权声明:本文为博主原创文章,未经博主允许不得转载。

相关文章推荐

神经网络训练中的Tricks之高效BP(反向传播算法)

神经网络训练中的Tricks之高效BP(反向传播算法)zouxy09@qq.comhttp://blog.csdn.net/zouxy09        Tricks!这是一个让人听了充满神秘和好奇的...
  • zouxy09
  • zouxy09
  • 2015年04月26日 14:36
  • 49644

深度学习之常见tricks

本文主要给出了在实现网络或者调节代码过程使用的以及平时看一些文章记录下来的一些小技巧,主要针对卷积网络和图像处理。就个人感受,有些技巧还是非常有效的,而且通常可以通过看开源库的一些文档或者源代码来发掘...

warrenm-Core-Text-Tricks

  • 2013年10月10日 09:14
  • 137KB
  • 下载

Haoop tricks(自用)

配置 core-site.xml fs.default.name hdfs://192.168.0.1:9000 The name of the defa...

50 Tips and Tricks for MongoDB

  • 2017年05月19日 09:08
  • 1.18MB
  • 下载

photoShop tricks

  • 2011年12月26日 20:55
  • 32.81MB
  • 下载

训练CNN你需要知道的tricks/tips

Introduction本文假设阅读者有基本的NN基础,涉及的tips有一下几点: - data augmentation - pre-process on images - initia...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:BP tricks
举报原因:
原因补充:

(最多只允许输入30个字)