![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习
fuguangchao
这个作者很懒,什么都没留下…
展开
-
深度学习常用激活函数之— Sigmoid & ReLU & Softmax
1. 激活函数Rectified Linear Unit(ReLU) - 用于隐层神经元输出Sigmoid - 用于隐层神经元输出Softmax - 用于多分类神经网络输出Linear - 用于回归神经网络输出(或二分类问题) ReLU函数计算如下: Sigmoid函数计算如下:转载 2017-07-07 22:49:09 · 563 阅读 · 0 评论 -
卷积神经网络(CNN)防止过拟合的方法
因为数据量的限制以及训练参数的增多,几乎所有大型卷积神经网络都面临着过拟合的问题,目前常用的防止过拟合的方法有下面几种: 1. data augmentation: 这点不需要解释太多,所有的过拟合无非就是训练样本的缺乏和训练参数的增加。一般要想获得更好的模型,需要大量的训练参数,这也是为什么CNN网络越来越深的原因之一,而如果训练样本缺乏多样性,那再多的训练参数也毫无意义,因为这转载 2017-07-07 22:50:00 · 2706 阅读 · 0 评论 -
理解dropout
开篇明义,dropout是指在深度学习网络的训练过程中,对于神经网络单元,按照一定的概率将其暂时从网络中丢弃。注意是暂时,对于随机梯度下降来说,由于是随机丢弃,故而每一个mini-batch都在训练不同的网络。dropout是CNN中防止过拟合提高效果的一个大杀器,但对于其为何有效,却众说纷纭。在下读到两篇代表性的论文,代表两种不同的观点,特此分享给大家。组合派参考文献中第一篇中的观点转载 2017-07-07 23:09:15 · 354 阅读 · 0 评论