深度学习——神经网络

前言：

人工神经网络是受到人类大脑 结构的启发而创造出来的：数以万计的神经元细胞通过某种连接构成了一个神经网络；

人工神经网络正是模仿了上面的网络结构。下面是一个人工神经网络的构造图。每一个圆代表着一个神经元，他们层次连接起来，构成了一个网络。

人类大脑神经元细胞的树突接收来自外部的多个强度不同的刺激，并在神经元细胞体内进行处理，然后将其转化为一个输出结果。如下图所示。

人工神经元也有相似的工作原理。如下图所示。

上面的$x$是神经元的输入，相当于树突接收的多个外部刺激。$w$是每个输入对应的权重，它影响着每个输入$x$的刺激强度。
大脑的结构越简单，那么智商就越低。单细胞生物是智商最低的了。人工神经网络也是一样的，网络越复杂它就越强大，所以我们需要深度神经网络。这里的深度是指层数多，层数越多那么构造的神经网络就越复杂。

1.1 神经网络

1.1神经网络是如何进行预测的?

这个预测的过程其实只是基于一个简单的公式：$z=dot(w,x)+b$。
上述公式中的$x$代表输入特征向量，假设有三个特征，那莫$x$就可以用($x_1,x_2,x_3$)来表示，如下图：

$w$表示权重，它对应每个特征的重要程度，$b$代表阈值，用来影响结果.
$z$就是预测结果，

公式中的$dot()$函数表示将$w$和$x$进行相乘。
所以$z=(x_1\ast w_1+x_2\ast w_2+x_3\ast w_3+b)$其中"非线性函数“我在下文用的是signmoid激活函数；

1.2 .1输入层

神经网络中的第一层。它需要输入信号（值）并将它们传递到下一层。它不对输入信号（值）做任何操作，并且没有关联的权重和偏置值。在我们的网络中，我们有2个输入信号$i_1,i_2$。

1.2 .2 隐藏层

   隐藏层具有对输入数据应用不同变换的神经元（节点）。一个隐藏层是垂直排列的神经元的集合

1.2.3 输出层

是网络的最后一层，它接收来自最后一个隐藏层的输入。通过这个层，我们可以知道期望的值和期望的范围,在这个网络中，输出层有2个神经元，输出$o_1,o_2$。

1.2.4 权重

权重表示单元之间连接的强度。如果从节点1到节点2的权重比较大，意味着神经元1对神经元2的影响比较大。权重降低了输入值的重要性。当权重接近零时意味着更改此输入将不会更改输出。负权重意味着增加此输入会降低输出。权重决定了输入对输出的影响程度。

1.2.5 前向传播（FP）

前向传播过程是向神经网络输入值并得到预测输出值的过程；

1.2.6 反向传播 (BP)

前向传播后，我们得到了一个预测的输出值，为了计算误差我们将预测值与实际输出值进行比较，如果误差较大那莫就进行反向传播过程。

1.2.7 激活函数

在实际的神经网络中，我们不能直接用逻辑回归。必须要在逻辑回归外面再套上一个函数。这个函数我们就称它为激活函数。激活函数非常非常重要，如果没有它，那么神经网络的智商永远高不起来。而且激活函数又分好多种。后面我会花好几篇文章来给大家介绍激活函数。在这里我只给大家简单介绍一种叫做sigmoid的激活函数。它的公式和图像如下:
公式：$\delta (z)=\frac{1}{1+e^{-z}}$
图像：
sigmoid激活函数的用途——把$z$映射到[0,1]之间，上图的横坐标是$z$，纵坐标我们用$y$’来表示，$y$'就代表了我们最终的预测结果。从图像可以看出，$z$越大那么$y$’就越靠近1，$z$越小那么$y$’就越靠近0。那为什么要把预测结果映射到[0,1]之间呢？因为这样不仅便于神经网络进行计算，也便于我们人类进行理解。其中得到的$z$代表的是锲合度。

1.2.8 loss函数

神经网络计算误差时可以用loss函数进行计算
$E=\frac{1}{2}{\sum }_{i=1}^n(f(x_i)-y_i{)}^2$

1.3 举例分析

如图是（输入层—>隐含层—>输出层）
设初始权重值$w_1-w_{12}$和偏置值$b_1,b_2$为：
w = (0.1,0.15,0.2,0.25,0.3,0.35,0.4,0.45,0.5,0.55,0.6,0.65)
b = (0.35,0.65)

1.3.1 正向传播

1.从输入层到隐藏层
$h_1=w_1\ast l_1+w_2\ast l_2+b_1\ast 1=0.1\ast 5+0.15\ast 10+0.35\ast 1$=2.35
$h_2=w_3\ast l_1+w_4\ast l_2+b_1\ast 1=0.2\ast 5+0.25\ast 10+0.35\ast 1$=3.85
$h_3=w_5\ast l_1+w_6\ast l_2+b_1\ast 1=0.3\ast 5+0.35\ast 10+0.35\ast 1$=5.35
则经过激活函数（sigmoid(z)=$\frac{1}{1+e^{-z}}$）变换后的值为：
$ou{t}_{h1}=\frac{1}{1+e^{-h_1}}=\frac{1}{e^{-2.35}}=0.9129342$
$ou{t}_{h1}=\frac{1}{1+e^{-h_2}}=\frac{1}{e^{-385}}=0.9791637$
$ou{t}_{h1}=\frac{1}{1+e^{-h_3}}=\frac{1}{e^{-5.35}}=0.99552743$
2.从隐藏层到输出层
$ne{t}_{o1}=out{h}_1\ast w_7+out{h}_2\ast w_9+out{h}_3\ast w_{11}+b_2\ast 1$=2.10192
$ne{t}_{o2}=out{h}_1\ast w_8+out{h}_2\ast w_{10}+out{h}_3\ast w_{12}+b_2\ast 1$=2.24629
经过激活函数变换后得：
$ou{t}_{o1}=0.89109$(真实值为0.01)
$ou{t}_{o2}=0.90433$(真实值为0.99)
经过loss函数的值为：
$E_{total}=E_{o1}+E_{o2}=\frac{1}{2}(0.01-0.89109{)}^2+\frac{1}{2}(0.99-0.90433{)}^2=0.391829$与真实值不符，需要进行BP反馈计算

1.3.2 反向传播（BP）

1.参数w的更新

这里用梯度下降法求解w的值
例如求解$w_7$的值：
$E_{total}=E_{o1}+E_{o2}$,而求解$w_7$只与$E_{o1}$有关
又有$ne{t}_{o1}=out{h}_1\ast w_7+out{h}_2\ast w_9+out{h}_3\ast w_{11}+b_2\ast 1$,
$ou{t}_{o1}=\frac{1}{1+e^{-ne{t}_{o1}}}$
所以
BP:$\frac{\alpha E_{total}}{\alpha w_7}=\frac{\alpha E_{o1}}{\alpha ou{t}_{o1}}\ast \frac{\alpha ou{t}_{o1}}{\alpha ne{t}_{o1}}\ast \frac{\alpha ne{t}_{o1}}{\alpha w_7}$
$w_{new}=w_{old}-\eta \frac{\alpha E_{total}}{\alpha w_{old}}$
带入求解：$w_7^{\ast }=w_7-\eta \frac{\alpha E_{total}}{\alpha w_7}=0.4-0.5\ast 0.078064=0.360968$
同理可求得其它值

小结：

1.正向传播，根据已知值求解$E_{tatal}$并代入到loss函数中求取误差值，当误差过大，进行第二步。
2.反向传播，根据已知结果更新正向传播中的w和b的值，更新完毕后再次进行第一步。
3.当求取误差适中，迭代结束，算法结束,输出w和b的值。
参考：
1、添加链接描述
2、https://blog.csdn.net/qq_24753293/article/details/78788844