BP tricks

原创 2016年08月31日 14:16:05
  1. 对输入输出数据标准化
  2. 选用的激活函数为:f(x)=1.7159tanh(2x/3)
  3. 参数初始化:参数就应该从一个均值为0,标准差为σw=m-1/2的分布(例如正态分布)中采样得到。
  4. 学习率:
    A、 给每个参数自己的学习率;
    B、 学习率应该和该节点的输入个数的平方根成比例;
    C、 低层参数的学习率应该比高层的大。
    自适应学习率

参考文献:
[1] LeCun等.“Neural Networks: Tricks of the Trade”第一章 Efficient BackProp

版权声明:本文为博主原创文章,未经博主允许不得转载。

神经网络训练中的Tricks之高效BP(反向传播算法)

神经网络训练中的Tricks之高效BP(反向传播算法)zouxy09@qq.comhttp://blog.csdn.net/zouxy09        Tricks!这是一个让人听了充满神秘和好奇的...
  • zouxy09
  • zouxy09
  • 2015年04月26日 14:36
  • 53131

神经网络Tips 和Tricks

神经网络Tips 和Tricks
  • heyongluoyao8
  • heyongluoyao8
  • 2015年10月31日 22:32
  • 9848

Android UI开发第四十篇——ScrollTricks介绍

ScrollTricks是一个开源控件,实现了两个简单功能: 1、Quick Return:向上滑动时,View也向上滑动并且消失,当向下滑动时,View马上出现。例如Google Now的搜索功能...
  • xyz_lmn
  • xyz_lmn
  • 2014年03月19日 20:56
  • 9944

CSS Tricks

CSS Tricks一些CSS的小技巧1.如何准确的居中? 参考Quick CSS Trick: How To Center an Object Exactly In The Center.cent...
  • winfredzen
  • winfredzen
  • 2017年02月16日 08:53
  • 561

BP算法之tricks

BP算法的tricks
  • elwangeij
  • elwangeij
  • 2016年05月15日 08:58
  • 454

css tricks,画各种基本图形

今天看到一个css tricks的文章,感觉不转载都对不起自己: 图形包括基本的矩形、圆形、椭圆、三角形、多边形,也包括稍微复杂一点的爱心、钻石、阴阳八卦等。当然有一些需要用到CSS...
  • zeyu1021
  • zeyu1021
  • 2015年02月25日 10:35
  • 637

深度学习之常见tricks

本文主要给出了在实现网络或者调节代码过程使用的以及平时看一些文章记录下来的一些小技巧,主要针对卷积网络和图像处理。就个人感受,有些技巧还是非常有效的,而且通常可以通过看开源库的一些文档或者源代码来发掘...
  • qq_26898461
  • qq_26898461
  • 2016年01月07日 11:25
  • 1425

Concepts and Tricks In CNN(长期更新)

from http://blog.cvmarcher.com/posts/2015/05/17/cnn-trick/ 这篇文章主要讲一下Convolutional Neural Networ...
  • wangzhebupt
  • wangzhebupt
  • 2016年01月20日 19:21
  • 1202

Must known Tips/Tricks in Deep Neural Networks(译文)

深度神经网络(DNN),尤其是卷积神经网络(CNN),使得由多个处理层组成的运算模型可以学习到数据的多层抽象表示。这些方法极大地提高了视觉物体识别、物体探测、文本识别以及其他诸如药物发现和生物学等领域...
  • dp_BUPT
  • dp_BUPT
  • 2015年10月21日 19:54
  • 1614

Bag of Tricks for Efficient Text Classification

Facebook NLP 大牛Tomas Mikolov 的又一力作 Bag of Tricks for Efficient Text Classification ,号称提出了区别于Word2vec...
  • coder_oyang
  • coder_oyang
  • 2016年08月02日 14:43
  • 863
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:BP tricks
举报原因:
原因补充:

(最多只允许输入30个字)