【机器学习】神经网络介绍

【深度学习】神经网络介绍

   1 神经元

   2 激活函数

   3 感知机与多层网络

   4 误差反向传播

 

参考：周志华《机器学习》

 

        "神经网络是由具有适应性的简单单元组成的广泛并行互连的网络，它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应" [Kohonen, 1988] .

1.神经元模型

    神经网络中最基本的成分是神经元 (neuron)模型，即上述中提到的"简单单元"。在生物神经网络中，每个神经元与其他神经元相连，当它"兴奋"时，就会向相连的神经元发送化学物质，从而改变这些神经元内的电位。如果某神经元的电位超过了一个"阔值"(threshold) ， 那么它就会被激活，即"兴奋 "起来，向其他神经元发送化学物质。

    现在常用的是：M-P神经元模型。在这个模型中，神经元接收到来自n个其他神经元传递过来的输入信号。这些输入信号通过带权重的连接( connection)进行传递，神经元接收到的总输入值将与神经元的阀值进行比较，然后通过"激活函数" (activation function) 处理以产生神经元的输出。

      

    注意，每层有10 个神经元，两两连接，则有100个参数，其中90个连接权和10个阈值。

2.激活函数

    理想中的激活函数是图5.2(a)所示的阶跃函数，它将输入值映射为输出值0或1。显然，"1"对应于神经元兴奋，"0"对应于神经元抑制。然而，阶跃函数具有不连续、不光滑等不太好的性质，因此实际常用Sigmoid函数作为激活函数。典型的 Sigmoid 函数如图5.2(b) 所示，它把可能在较大范围内变化的输入值挤压到 (0，1) 输出值范围内，因此有时也称为 "挤压函数" (squashing function)。

3.感知机与多层神经网络

    感知机</