2017年12月_小妖精Fsky

12月 11月 10月 09月 08月 07月 05月 04月 03月 02月 01月

原创 network中的weight initialization

因为自建的网络很深导致网络不能很好的训练，于是寻找解决方法，（１）好的初始参数在ReLU activation function中推荐使用Xavier Initialization的变种，暂且称之为He Initialization（２）batch normalization博文还没有完善，等我有空 https://www.leiphone.com/news/201703/3qMp45aQ

2017-12-14 20:38:51 600

原创 [ICML2015]Batch Normalization:Accelerating Deep Network Training by Reducing Internal Covariate Shif

搭建的网络太深导致低层的梯度太小，经大牛点拨后才知道batch normalization就是处理该问题才提出的，于是后知后觉知道这篇文章原来非常有用，深深觉得惭愧，觉得自己太搓了．看来修炼之路还很长，要耐心坚持，点点滴滴积累．中午饭后更

2017-12-13 09:47:00 456

原创 [ACL2015]A Dependency-Based Neural Network for Relation Classification

哇哇哇．．．．，　很长时间没有写paperNotes了，从今天开始还是应该每天都有啊，每天更的心情就是踏实而美好这篇文章提到了两个不同NN的特性，作为重点：我放在博文的前面． CNN is suitable for capturing the most useful features in a flat structure. RNN(Recursive) is good at modelin

2017-12-12 08:55:28 659

原创过拟合函数中系数大小的理解

http://blog.csdn.net/u012162613/article/details/44261657 这篇博文里的对下面这段文字中<过拟合的时候，拟合函数的系数往往非常大>这句话不是很理解，按照我的想法，如果想要过拟合，应该是函数很复杂，需要很高阶的函数．理解通了后给出解释．过拟合的时候，拟合函数的系数往往非常大，为什么？如下图所示，过拟合，就是拟合函数需要顾忌每一个点，最终形成的

2017-12-10 17:07:27 2180

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

原创 network中的weight initialization

原创 [ICML2015]Batch Normalization:Accelerating Deep Network Training by Reducing Internal Covariate Shif

原创 [ACL2015]A Dependency-Based Neural Network for Relation Classification

原创 过拟合函数中系数大小的理解

空空如也

空空如也

原创过拟合函数中系数大小的理解