2018年10月_Blazer！

12月 10月 09月 06月 04月 03月 01月

转载 CNN卷积具体计算过程

https://blog.csdn.net/yudiemiaomiao/article/details/72466402https://blog.csdn.net/yudiemiaomiao/article/details/72466402https://www.cnblogs.com/zf-blog/p/6075286.html关键知识点：卷积层是用来做特征提取的。每一个卷积层可...

2018-10-26 16:58:13 9112

转载为什么要用非线性激活函数？为什么要引入非线性修正单元？

为什么引入非线性函数？Relu函数的优点？第一个问题：为什么引入非线性激励函数？如果不用激励函数（其实相当于激励函数是f(x) = x），在这种情况下你每一层输出都是上层输入的线性函数，很容易验证，无论你神经网络有多少层，输出都是输入的线性组合，与没有隐藏层效果相当，这种情况就是最原始的感知机（Perceptron）了。正因为上面的原因，我们决定引入非线性函数作为激...

2018-10-26 16:11:10 4628

转载梯度消失和梯度爆炸的原因和解决方案

产生消失的梯度问题的原因注：实际上就是梯度计算过程中，w值和激活函数的导数值相乘大于1或者小于1的问题，如果是大于1，那么经历过很多个隐藏层梯度就会越来越大，即梯度爆炸，如果是小于1当然就是梯度消失啦！！！所以w初始化大，w值和激活函数的导数值相乘可能越来越大，造成梯度爆炸。所以w初始化小，w值和激活函数的导数值相乘可能越来越小，造成梯度消失。sigmoid的导数的最大值就很小，每...

2018-10-26 11:45:50 1268

转载各种激活函数

1、什么是激活函数2、为什么要用3、都有什么激活函数4、sigmoid，Relu，softmax 1. 什么是激活函数如下图，在神经元中，输入的 inputs 通过加权，求和后，还被作用了一个函数，这个函数就是激活函数 Activation Function。2. 为什么要用如果不用激励函数，每一层输出都是上层输入的线性函数，无论神经网络有多少层，输出都是...

2018-10-26 11:02:27 458 1