DeepLearning六脉神剑第1式--传统神经网络

**

DeepLearning六脉神剑第1式–传统神经网络

**

#本次笔记简述

阔别近一个月之久，小川最近也在机器学习的道路行进了一步，虽然速度不算太快，但是至少还是有所感悟，各位看官们有没有想念我呢。那么，进入本次笔记的正题，近期小川学习了传统神经网络和BP神经网络模型，对于神经网络有了个初步的接触，所谓神经网络指的就是一个解决问题的算法。

MP-模型

为了构建神经网络模型，我们需要首先思考大脑中的神经网络是怎样进行的？每一个神经元都可以被认为是一个处理神经元/神经核，它含有许多输入/树突，并且有一个输出/轴突，神经网络是大量神经元相互连接并通过电脉冲来交流的一个网络。

在生物神经网络中，每一个神经元与其他神经元相连，当它“兴奋”时，就会向相连的神经元发送化学物质，从而改变这些神经元内的电位；如果某神经元的电位超过了一个“阈值”，那么他就会激活，即“兴奋”起来，向其他神经元发送化学物质。
1.MP-模型
①下图所示是一个“MP-神经元模型”:

该模型将神经元简化为了三个过程：输入信号线性加权，求和，非线性激活（阈值法）。输入可以类比为神经元的树突，而输出可以类比为神经元的轴突末梢，计算则可以类比为细胞核。

②如果将神经元图中的所有变量用符号表示，可以写出输出的计算公式：

可见Z是在输入和权值的线性加权叠加了一个函数g的值。这里，已知的属性称之为特征，未知的属性称之为目标。假设特征与目标间确实是线性关系，并且我们已经得到表示这个关系的权值w1,w2,w3。那么，我们就可以通过神经元模型预测新样本的目标。

2.神经元激活函数
理想中的激活函数是阶跃函数，它将输入值映射为输出值“0”或“1”，显然“1”对应于神经兴奋，“0”对应于神经抑制。然而，阶跃函数具有不连续、不光滑等不太好的性质，因此实际常用sigmoid函数作为激活函数。典型的sigmoid函数如下图所示，他能把在较大范围内变化的输入值挤压到（0,1）输出值范围内，因此有事也称为“挤压函数”。

3.感知机与多层神经网络
①感知机
感知机有两层神经元组成，输入吃呢个接受外界输入信号后传递给输出层，输出层是M-P神经元，亦称“阈值逻辑单元”。



②多层神经网络

输出公式可以改写为：
g(W*a)=Z
这个公式就是神经网络从前一层计算后一层的矩阵计算。

两层神经网络除了包含一个输入吃呢个，一个输出层意外，还增加了一个中间层。此时，中间层和输出层都是计算层。在右边新加一个层次（只含有一个节点）。现在，我们的权值矩阵增加到了两个，我们用上标来区分不同层次之间的变量。

神经元按照层来布局，最左边的层叫做输入层，负责接收输入数据；最右边的层加输出层，可以从这层获取神经网络输出数据。输入层和输出层之间叫做隐藏层，因为他们对于外部来说是不可兼得。同一层的神经元之间没有连接，第N层的每个神经元和第N-1层的所有的所有神经元相连，第N-1层神经元的输出就是第N层神经元的输入，每一个连接都有一个权值。

3.误差

4梯度下降

首先，我们随便选择一个点开始，比如左图的点W0。每次迭代修改W为W1,W2,W3，经过数次迭代后最终到达函数最小值点。每次沿着梯度相反方向去修改的值，当然就能走到函数的最小值点附近。之所以是最小值附近而不是最小值那个点，是因为每次移动的步长都不会那么恰到好处，有可能最后一次迭代走远了越过了最小值那个点。步长的选择是个难点，如果选小了，那么就会迭代很多轮很多轮才能最小值附近；如果选择大了，那可能就会越过最小值很远，收敛不到一个好的点上。