机器学习（2）——神经网络

一：前言

1.1 生物神经元

1.1.1 结构

神经细胞是构成神经系统的基本单元，称为生物神经元，简称神经元。神经元主要由树突、轴突、细胞体三部分组成，如下图：

1.1.2 工作原理

神经元的信息传递和处理是一种电化学信号，树突由于电化学作用受外界的刺激，通过胞体内的活动体现为轴突点位，当轴突点位达到一定的值形成神经脉冲或动作电位；再通过轴突末梢传递给其他的神经元，从控制论的观点来看；这一过程可以看作一个多输入单输出非线性系统的动态过程。

1.2 人工神经网络（Artificial Neural Network——ANN）

人工神经网络是加州理工大学的科学家在一个名为线形阈值函数的简单的神经模型上建立的。这个神经元模型接受输入信号，并通过一个正权数或着负权数来增强每个信号，如果输入信号的加权总和超过某个阈（这个词读“yu”四声）值，神经元会放电，产生一个输出信号。

人工神经网路具有非线性适应性信息处理能力。

1.3 感知器（Perception）

感知器可以说是人工神经网络的一个里程碑，首先我们不要被它的名字所误导，因为从根本上将感知器就是做决策的。单个感知器是对神经元最基本概念的模拟，它只包含很少网路（神经网络）的概念。它的工作原理其实已经在1.2中讲到了，这里就不做进一步的描述了。但是要注意一个不同点——输出信号，人工神经网络本身的话，是超过阈值产生输出信号，而感知器呢？当超过阈值时，输出1；小于阈值时，输出0。

从数学角度分析的话，感知器就是一个线性函数，他计算超平面，这个可以在后续分析中感知到。

用图形将感知器抽象后的结果如下：

• $x_1,x_2,\cdots,x_n$就代表我们的输入信号
• $w_1,w_2,\cdots,w_n$代表每个输入信号的增益权重
• $\sum_{i=1}^n w_ix_i$代表输入信号的加权总和，这个方程被称为激活函数（Activation Function)
• $f$代表激活阀（Firing Threshold），即在这部我们需要将加权总和的结果和指定的阈值作比较。当大于阈值的时候输出一个值，小于阈值的时候输出另外一个值。

1.4 神经网络

神经网路是一种应用类似于大脑神经突触连接结构进行信息处理的数据类型。

神经元之间突触的联系强度可变，这种可变性我们可以从Hebb规则了解，而这个可变性也是我们学习和记忆的基础。

由心理学家W.S.McCulloch和数理逻辑学家W.Pitts建构的MP模型，提出了神经元的形式化数学描述和网络构造方法，证明了单个神经元可以执行逻辑功能：且、或、异或。而这个也是神经网络能够被使用在机器学习中重要的一点。

二：感知器实现逻辑功能

2.1 AND（且）

假设感知器接受到两个信号$x_1\in\{0,1\},$ $x_2\in\{0,1\}$。输入信号的权重分别是$w_1=\frac12,w_=\frac12$。感知器的阈值 θ=34