写到哪儿算哪儿的神经网络基础-2

聊下激活函数。

之前说，激活函数是感知机和神经网络的关键点，朴素感知机其实就是一种阶跃函数为激活函数的情况。那么，如果感知机使用其他函数作为激活函数的话，我们也就进入了神经网络的大门了。

以最常见的sigmoid函数为例，对比学习下它和阶跃函数的区别。

公式给出来：

，其中，e是纳皮尔常数2.7182...。

这个函数看起来很复杂，其实也就那样吧，比如给定的值我们可以得到：这样。

再看下阶跃函数，用python画图出来看看：

import numpy as np
import matplotlib.pylab as plt
def step_function(x):
    return np.array(x>0,dtype=np.int)
x=np.arange(-5.0,5.0,0.1)
y=step_function(x)
plt.plot(x,y)
plt.ylim(-0.1,1.1)
plt.show()

 np.arange(-5.0, 5.0, 0.1)表示生成从-5.0到5.0 (左闭右开)，步长0.1的NumPy数组：[-5.0, -4.9, ..., 4.9]。画个图出来看看，是不是像个（正交）脉冲信号。

把sigmoid函数用py实现出来看看：

import numpy as np
import matplotlib.pylab as plt
def sigmoid(x):
    return 1/(1+np.exp(-x))
x=np.arange(-5.0,5.0,0.1)
y=sigmoid(x)
plt.plot(x,y)
plt.ylim(-0.1,1.1)
plt.show()

 

 比较下两个函数的图可以明显看出：

(不同点)

-----------------------------------------------------------------------

1. sigmoid是条平滑曲线，输入变化输出也在（连续）变化，而阶跃函数来得很陡，以x=0为届。

2. sigmoid的平滑性对神经网络的训练意义重大。

3. 感知机中神经元是1，0的二元信号，而神经网络是连续实数信号。

(同性质)

-----------------------------------------------------------------------

1. 宏观上看，画的图波形相似。

2. 深度分析来看，输入信号重要时，两个函数输出值都较大，输入不重要时，输出都比较小。

3. 输出值限定在0到1之间。

4. 两个函数都是非线性函数！

问题来了：神经网络的激活函数是不是必须使用非线性函数呢？换句话说，能不能使用线性函数？

答案来了：只能使用非线性函数。

原因来了：因为如若使用线性函数，加深神经网络的层数是无意义的；使用线性函数，不管加多少层，总是存在与之等效的无隐藏层的神经网络。

举个栗子，使用作为激活函数，把运算作为对应的3层神经网络。这个运算会进行的乘法运算，换成.效果是一样的，无法发挥多层网络的优势，故而，激活函数必须是非线性的。

 sigmoid激活函数在早期神经网络研究时就有了，最近比较流行的有ReLU(Rectified Linear Unit)函数：

Python实现一下：

import numpy as np
import matplotlib.pylab as plt
def relu(x):
    return np.maximum(0,x)
x=np.arange(-5.0,5.0,0.1)
y=relu(x)
plt.plot(x,y)
plt.ylim(-1.1,5.5)
plt.show()

 

代码中，maximum函数会从输入的数值中选择较大的值进行输出。

其实这个函数比sigmoid用作激活函数多得多，待续......