sunshineTHU的博客

如果不用激活函数（其实相当于激活函数是f(x) = x），在这种情况下你每一层输出都是上层输入的线性函数，很容易验证，无论你神经网络有多少层，输出都是输入的线性组合，与没有隐藏层效果相当，这种情况就是最原始的感知机（Perceptron）了。正因为上面的原因，我们决定引入非线性函数作为激活函数，这样深层神经网络就有意义了（不再是输入的线性组合，可以逼近任意函数）。最早的想法是sigmoid函数或者...

双曲正切函数等于双曲正弦与双曲余弦的比值，即tanh(x)=sinh(x)/cosh(x)=(e^(x)-e^(-x))/(e^x+e^(-x))，sinhx=(e^(x)-e^(-x))/2，coshx=(e^x+e^(-x))/2。定义域为(-∞，+∞)，值域为(-1，+1)双曲正切函数（tanh）与激活函数sigmoid非常接近，且与后者具有类似的优缺点。sigmoid和tanh的主要区别在...

n越大，需要计算的参数越多(指数级增长)，同一词的不同词义的区别性也越好；同时，对于每一个参数，实例(出现的频度)也会变少，频度越低，越不可靠。...

Softmax函数——用于多分类神经网络输出定义假设我们有一个数组V，Vi表示V中的第i个元素，那么这个元素的Softmax值就是 Si = eVi / ∑jeVj，也就是该元素的指数，与所有元素指数和的比值。 除了直观好理解以外，它还有更多优点。1.计算与标注样本的差距在神经网络的计算当中，我们经常需要计算按照神经网络的正向传播计算的分数S1，和按照正确标注计算的分数S2，之间的差距，计算Los...

sigmoid将一个real value映射到（0,1）的区间，用来做二分类。而 softmax 把一个 k 维的real value向量（a1,a2,a3,a4….）映射成一个（b1,b2,b3,b4….），其中 bi 是一个 0～1 的常数，输出神经元之和为 1.0，所以相当于概率值，然后可以根据 bi 的概率大小来进行多分类的任务。二分类问题时 sigmoid 和 softmax 是一样的，...