在机器学习和认知科学领域,人工神经网络(
artificial neural network
,缩写ANN
),简称神经网络(neural network
,缩写NN
)或类神经网络,是一种模仿生物神经网络(动物的中枢神经系统,特别是大脑)的结构和功能的数学模型或计算模型,用于对函数进行估计或近似
。神经网络由大量的人工神经元联结进行计算。
综述
大多数情况下人工神经网络能在外界信息的基础上改变内部结构,是一种自适应系统。现代神经网络是一种非线性统计性数据建模工具。典型的神经网络具有以下三个部分:
1. 结构 (Architecture)
结构指定了网络中的变量和它们的拓扑关系。例如,神经网络中的变量可以是神经元连接的权重(weights
)和神经元的激活值(activities of the neurons
)。
2. 激活函数(Activity Rule)
大部分神经网络模型具有一个短时间尺度的动力学规则,来定义神经元如何根据其他神经元的活动来改变自己的激励值。一般激励函数依赖于网络中的权重(即该网络的参数)。
3. 学习规则(Learning Rule)
学习规则指定了网络中的权重如何随着时间推进而调整。这一般被看做是一种长时间尺度的动力学规则。一般情况下,学习规则依赖于神经元的激励值。它也可能依赖于监督者提供的目标值和当前权重的值。
初识神经网络
如上文所说,神经网络主要包括三个部分:结构、激活函数、学习规则
。下图是一个三层的神经网络,输入层有d
个节点,隐层有q
个节点,输出层有l
个节点。除了输入层,每一层的节点都包含一个非线性变换。
那么为什么要进行非线性变换呢?
(1)如果只进行线性变换,那么即使是多层的神经网络,依然只有一层的效果。类似于 0.6∗(0.2×1+0.3×2)=0.12×1+0.18×2 。
(2)进行非线性变化,可以使得神经网络可以拟合任意一个函数,下面是一个四层网络的图。
下面使用数学公式描述每一个神经元工作的方式
(1)输入x
(2)计算z=w*x
(3)输出new_x = f(z)
,这里的f
是一个函数,可以是sigmoid
、tanh
、relu
等,f
就是上文所说到的激活函数。
反向传播(bp)算法
有了上面的网络结构
和激活函数
之后,这个网络是如何学习参数(学习规则)
的呢?
首先我们先定义下本文使用的激活函数
、目标函数
sigmoid激活函数
def sigmoid(z):
return 1.0/(1.0+np.exp(-z))
sigmoid函数
有一个十分重要的性质:
,即计算导数十分方便。
def sigmoid_prime(z):
return sigmoid(z)*(1-sigmoid(z))
目标函数(差的平方和)