2017年02月_Eason.wxd

转载系统学习深度学习（十四）--权重初始化Xavier

“Xavier”初始化方法是一种很有效的神经网络初始化方法，方法来源于2010年的一篇论文《Understanding the difficulty of training deep feedforward neural networks》，可惜直到近两年，这个方法才逐渐得到更多人的应用和认可。为了使得网络中信息更好的流动，每一层输出的方差应该尽量相等。基于这个目标，现在我们就去推导一下：

2017-02-27 09:55:20 14929 2

原创系统学习深度学习（十三）--Batch Normalization

Batch Normalization，简称BN，来源于《Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift》，也是GoogLeNet v21-Motivation 作者认为：网络训练过程中参数不断改变导致后续每一层输入的分布也发生变化，而学习的过程又...

2017-02-25 15:57:43 8401

转载系统学习深度学习（十二）--池化

转自：http://blog.csdn.net/danieljianfeng/article/details/42433475在卷积神经网络中，我们经常会碰到池化操作，而池化层往往在卷积层后面，通过池化来降低卷积层输出的特征向量，同时改善结果（不易出现过拟合）。为什么可以通过降低维度呢？因为图像具有一种“静态性”的属性，这也就意味着在一个图像区域有用的特征极有可能在另一个区域同样适

2017-02-25 11:49:19 16760

转载系统学习深度学习（十一）--dropout,dropconect

原文：http://blog.csdn.net/u012702874/article/details/45030991dropout layer的目的是为了防止CNN 过拟合。那么为什么可以有效的防止过拟合呢？首先，想象我们现在只训练一个特定的网络，当迭代次数增多的时候，可能出现网络对训练集拟合的很好（在训练集上loss很小），但是对验证集的拟合程度很差的情况。所以，我们有了这

2017-02-25 11:40:31 9611 1

http://blog.csdn.net/chenzhi1992/article/details/52850759 类似，也值得一看http://blog.csdn.net/shenxiaolu1984/article/details/52511202转自：http://blog.csdn.net/majinlei121/article/details/47260917那篇优化算法论文On opt...

2017-02-21 13:03:33 12213

转载系统学习深度学习（九）--激活函数总结

https://zhuanlan.zhihu.com/p/22142013这个文章，写的接地气，强烈推荐。http://www.cnblogs.com/rgvb178/p/6055213.html类似，但也值得一看。转自：http://blog.csdn.net/losteng/article/details/50833861激活函数是用来加入非线性因素的，因为线性模型的表达能力不够。常用激活函数...

2017-02-21 10:35:13 17511

转载系统学习深度学习（八）--损失函数

转自：http://blog.csdn.net/google19890102/article/details/50522945 一、分类算法中的损失函数在分类算法中，损失函数通常可以表示成损失项和正则项的和，即有如下的形式：其中，L为损失项，R为正则项。mi的具体形式如下：对于损失项，主要的形式有：0-1损失 Log损失 Hinge损失指数损失感知损失...

2017-02-21 09:41:10 25410 2

原创 Torch7框架学习资料整理

以下，主要是自己在学习Torch7时的一些记录和体会，不喜勿喷，指出错误更加感激。1.Torch7 老版本，主要是基于Lua5.1接口提供，看框架之前最好先看看Lua。2.第一份：转自：http://blog.csdn.net/u010946556/article/details/51329208，有些地方，我没跑出来，暂不着急。后期补充。

2017-02-15 15:21:23 6568

转载 ubuntu14.04+cuda8.0+cudnn5.1+torch7配置整理

实际上教程网上有很多，这里说下自己遇到的几个坑。很少有人提到（包括torch7官方）CUDA与torch的安装顺序，我这里测试发现先安装torch再cuda，总是各种问题，所以，先cuda,cudnn，再torch,一路顺利。这应该跟opencv与cuda关系类似。跟torch相关的CUDA实现，要重新编译，因此，先CUDA比较保险。另外就是网络要好，否则经常断！感谢同事提供的VPN。。...

2017-02-14 15:40:26 9388 4

工作笔记