![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习
0级程序员
这个作者很懒,什么都没留下…
展开
-
sigmoid、tanh和ReLU
sigmoid的缺点:1.神经元接近0或1时会饱和,导致梯度消失。2.sigmoid取值范围[0,1],不是0中心的。影响反向传播时梯度下降的运作,梯度要么正数要么负数,权重更新Z字型下降,不过算是个小问题。tanh是一个简单放大的sigmoid神经元,取值范围[-1, 1]ReLU函数,公式为f(x) = max(0, x)优点:1.线性,收敛速度快。2.不含指数运算...原创 2019-02-17 21:42:17 · 797 阅读 · 0 评论 -
深度学习防止过拟合方法
1.丢弃法(dropout)随机设置某些节点的输出置为0,总输出不再依赖于这些神经元。使用丢弃法不会改变隐层节点的期望。训练过程中因为每个节点都可能被丢弃,所以输出不会过分依赖于某些节点,防止过拟合。测试过程中为得到确切的输出结果不会丢弃。2.正则化L1或L2范数...原创 2019-02-17 22:25:36 · 228 阅读 · 0 评论 -
概率密度函数和最大似然法
一、离散型随机变量和连续型随机变量离散型随机变量:随机变量的值只能取自然数。0、1、2、3等连续型随机变量:随机变量的值取实数。可以带小数点如1.5二、概率分布函数和概率密度函数概率分布函数:离散型随机变量概率函数取值的累加结果。概率密度函数:表示连续型随机变量的概率,概率密度函数是连续型随机变量分布函数的导函数。如图,a图为连续型随机变量分布函数,b图为它的概率密...原创 2019-02-26 14:31:56 · 3831 阅读 · 0 评论