![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习
jiangjunlanzhoulan
这个作者很懒,什么都没留下…
展开
-
Softmax回归
简介在本节中,我们介绍Softmax回归模型,该模型是logistic回归模型在多分类问题上的推广,在多分类问题中,类标签 可以取两个以上的值。 Softmax回归模型对于诸如MNIST手写数字分类等问题是很有用的,该问题的目的是辨识10个不同的单个数字。Softmax回归是有监督的,不过后面也会介绍它与深度学习/无监督学习方法的结合。(译者注: MNIST 是一个手写数字识别库,由NYU 的Y...翻译 2018-03-24 20:21:38 · 114 阅读 · 0 评论 -
Relu浅谈
relu主要的作用是:1,防止梯度弥散2,稀疏性3,加快计算首先我们看下sigmoid和relu的曲线然后可以得到sigmoid的导数以及relu的导数结论就是sigmoid的导数只有在0附近的时候有比较好的激活性,在正负饱和区的梯度都接近于0,所以这会造成梯度弥散,而relu函数在大于0的部分梯度为常数,所以不会产生梯度弥散现象。第二,relu函数在负半区的导数为0 ,所以一旦神经元激活值进入负...原创 2018-03-25 20:36:19 · 7212 阅读 · 0 评论