机器学习之实现简单的神经网络

机器学习的本质是模拟人的神经元对信息的处理方法。可以将神经元看成是一个简单的带有二进制输出功能的逻辑电路门，多种电信号可以从神经元的树突部分传入，然后对多个传入的电信号进行结合，统一地运算，得到的唯一的电信号会通过神经元的轴突–>神经末梢传递给其他神经元的树突。

在机器学习中对数据的分类算法有两种：

• 感知器
• 适应性线性神经元

1、神经元的数学表示

设：$x=\left[\begin{array}{c}{x}_1\\ ⋮\\ x_m\end{array}\right]$ 为树突接受的多种电信号，$w=\left[\begin{array}{c}{w}_1\\ ⋮\\ w_m\end{array}\right]$为 $x$ 的运算系数。

则神经元会进行以下算法步骤：
第一步，将神经元将接收到的信号 $x$ 进行整合处理：

$$z=w_1{x}_1+\cdots +w_m{x}_m$$

第二步，用激活函数对 $z$ 进行处理，例如下面的步调函数：

$$\varphi (z)=\{\begin{array}{ll}1& \text{if z≥θ}\\ -1& \text{if otherwise}\end{array}$$

step function就是一个激活函数。
激活函数（Activation functions）对于人工神经网络模型去学习、理解非常复杂和非线性的函数来说具有十分重要的作用。它们将非线性特性引入到我们的网络中。如上图在神经元中，输入的 inputs 通过加权，求和后，还被作用了一个函数，这个函数就是激活函数。引入激活函数是为了增加神经网络模型的非线性。没有激活函数的每层都相当于矩阵相乘。就算你叠加了若干层之后，无非还是个矩阵相乘罢了。

---

我们把 $w$ 称为权重向量，$x$ 称为训练样本。

感知器数据分类的算法步骤如下：

1. 把 $w$ 初始化为 0，或者把 $w$ 的每个分量初始化为[0, 1]之间的任意小数；
2. 把训练样本 $x$ 输入感知器，得到分类结果 $\varphi (z)$ （-1或1）；
3. 根据分类结果更新权重向量。

接下来我们对每个步骤进行详细的解说。

步调函数和阈值的概念：
感知器中的算法如下：

$$z=w_0{x}_0+w_1{x}_1+\cdots +w_m{x}_m$$ and
$$\varphi (z)=\{\begin{array}{ll}1& \text{if z≥θ}\\ -1& \text{if otherwise}\end{array}$$

其中 $\varphi (z)$ 是一个步调函数，在感知器中作为激活函数使用； $\theta$ 为阈值。

这时，我们令$w_0=-\theta$ and $x_0=1$，即对阈值的初始化。

权重更新算法：

$$w_j=w_j+\nabla w_j$$ $$\nabla w_j=\eta \ast (y-y^{\prime })\ast x_j$$

• $\eta$ 表示学习率，是一个 [0, 1] 之间的小数；
• y 是输入样本的正确分类，y’ 是感知器计算出来的分类。

下面我们通过一个例子来更清楚的了解权重更新算法以及感知器的运行机理：
设：
$w=[0,0,0]$，$x=[1,2,3]$，$\eta =0.3$，$y=1$，$y^{\prime }=-1$
则根据上面的算法：
$\nabla w_0=0.3\ast (1-(-1))\ast x_0=0.3\ast 2\ast 1=0.6$；
$w_0=w_0+\nabla w_0=0.6$；
同理，计算其他分量：
$\nabla w_1=0.3\ast (1-(-1))\ast x_1=0.3\ast 2\ast 2=1.2$；
$w_1=w_1+\nabla w_1=1.2$；
$\nabla w_2=0.3\ast (1-(-1))\ast x_2=0.3\ast 2\ast 3=1.8$；
$w_2=w_2+\nabla w_2=1.8$；

最后，更新后的权重向量为 $w=[0.6,1.2,1.8]$

阈值的更新：
阈值并不是一成不变的，初次的阈值可以人为制定，以后会不断的自动更新。
阈值更新如下：

$w_0=0$，$\nabla w_0=\eta \ast (y-y^{\prime })$

$y=1$，$y^{\prime }=-1$

$w_0=w_0+\nabla w_0=0+0.3\ast (1-(-1))=0.6$

最后，我们对感知器的算法做一下总结，如下图：

3、适应性线性神经元

如图，适应性线性神经元与感知器的区别有二：

• 适应性线性神经元会将计算结果与给定的标准结果进行比较，如果出现Error，则会根据两者的差距进行动态的调整神经元的参数 $w_i$，使得与给定的标准结果的差距越来越小。

• 两者的激活函数（Activation function）不一样；感知器的激活函数是一个步调函数，而自适应性先行神经元使用的激活函数是将 $x$ 与 $w$ 的点积 $z$ 直接当作最终结果，即：$\varphi (z)=z$ 。

那么适应线性神经元是如何动态的调整神经元的参数 $w_i$ 的呢？
适应线性神经元会使用一种渐进下降的算法来不断的缩短计算结果与标准结果之间的距离。

这里我们要引进一下“距离”的定义：

$$J(w)=\frac{1}{2}\sum _i(y^{(i)}-\varphi (z^{(i)}){)}^2$$

其中$$z=w_0{x}_0+w_1{x}_1+\cdots +w_m{x}_m=w^{T}x$$
$$\varphi (z)=z$$
（$w^T$ 是矩阵的转置，即行列互换）

上面是一个和方差公式，和方差的数学函数图像如下：

根据上图，我们目的是求当距离最小时的状态，即 $J(w)$ 的最小值，我们可以对上图的函数进行求偏导数，当导数为0时即距离的最小值时的状态。所以自适应线性神经元在进行动态调整参数时，当导数小于零时，可以动态的增大 $w_j$ 的值，反之当导数大于零的时，就会动态的减小$w_j$ 的值。

和方差求导如下：

$\frac{\partial J}{\partial w_j}=\frac{\partial }{\partial w_j}\frac{1}{2}{\sum }_i(y^{(i)}-\varphi (z^{(i)}){)}^2$

$=\frac{1}{2}\frac{\partial }{\partial w_j}{\sum }_i(y^{(i)}-\varphi (z^{(i)}){)}^2$

$=\frac{1}{2}{\sum }_{i}2(y^{(i)}-\varphi (z^{(i)}))\frac{\partial }{\partial w_j}(y^{(i)}-\varphi (z^{(i)})$

$={\sum }_i(y^{(i)}-\varphi (z^{(i)}))\frac{\partial }{\partial w_j}[(y^{(i)}-{\sum }_i{w}_j^{(i)}{x}_j^{(i)}]$

$={\sum }_i(y^{(i)}-\varphi (z^{(i)}))(-x_j^{(i)})$

$=-{\sum }_i(y^{(i)}-\varphi (z^{(i)}))x_j^{(i)}$

有了导数之后，我们就要对神经元的参数 $w_j$ 进行更新：

$$w:=w+\Delta w$$
其中
$$\Delta w_j=-\eta \frac{\partial J}{\partial w_j}=\mu \sum _i(y^{(i)}-\varphi (z^{(i)}))x_j^{(i)}$$

我们通过这种方式不断的调整神经元的每一个参数，这样会使得整体神元上的和方差的值不断地趋于最小，这样一来，神经网络的计算误差就会越来越小，计算结果就会越来越精确，神经网络对数据的预测的准确率就会越来越高。

---

学习课程来自：慕课网【机器学习-实现简单神经网络】