神经网络---第一章 基础知识 2.0 神经网络

2.0 通俗地理解三大概念

这三大概念是：反向传播，梯度下降，损失函数。

神经网络训练的最基本的思想就是：先“猜”一个结果，我们叫预测结果a，看看这个预测结果和事先标记好的训练集中的真实结果y之间的差距，然后调整策略，再试一次，这一次就不是“猜”了，而是有依据地向正确的方向靠近。如此反复多次，一直到预测结果和真实结果之间相差无几，亦即|a-y|->0，就结束训练。

总结

简单总结一下反向传播与梯度下降的基本工作原理：

1. 初始化；
2. 正向计算；
3. 损失函数为我们提供了计算损失的方法；
4. 梯度下降是在损失函数基础上向着损失最小的点靠近而指引了网络权重调整的方向；
5. 反向传播把损失值反向传给神经网络的每一层，让每一层都根据损失值反向调整权重；
6. goto 2，直到精度足够好（比如损失函数值小于0.001）。

2.1 线性传播

2.2 反向传播

2.3 梯度下降

2.3.1 从自然现象中理解梯度下降

在大多数文章中，都以“一个人被困在山上，需要迅速下到谷底”来举例，这个人会“寻找当前所处位置最陡峭的地方向下走”。这个例子中忽略了安全因素，这个人不可能沿着最陡峭的方向走，要考虑坡度。

在自然界中，梯度下降的最好例子，就是泉水下山的过程：

1. 水受重力影响，会在当前位置，沿着最陡峭的方向流动，有时会形成瀑布（梯度下降）；
2. 水流下山的路径不是唯一的，在同一个地点，有可能有多个位置具有同样的陡峭程度，而造成了分流（可以得到多个解）；
3. 遇到坑洼地区，有可能形成湖泊，而终止下山过程（不能得到全局最优解，而是局部最优解）。

2.3.2 梯度下降的数学理解

梯度下降的数学公式：

$${\theta }_{n+1}={\theta }_n-\eta \cdot \nabla J(\theta )\text{\hspace{1em}(1)}$$

其中：

• ${\theta }_{n+1}$：下一个值；
• ${\theta }_n$：当前值；
• $-$：减号，梯度的反向；
• $\eta$：学习率或步长，控制每一步走的距离，不要太快以免错过了最佳景点，不要太慢以免时间太长；
• $\nabla$：梯度，函数当前位置的最快上升点；
• $J(\theta )$：函数。

梯度下降的三要素

1. 当前点；
2. 方向；
3. 步长。

为什么说是“梯度下降”？

“梯度下降”包含了两层含义：

1. 梯度：函数当前位置的最快上升点；
2. 下降：与导数相反的方向，用数学语言描述就是那个减号。

亦即与上升相反的方向运动，就是下降。

上图解释了在函数极值点的两侧做梯度下降的计算过程，梯度下降的目的就是使得x值向极值点逼近。

2.3.3 单变量函数的梯度下降

假设一个单变量函数：

$$J(x)=x^2$$

我们的目的是找到该函数的最小值，于是计算其微分：

$$J^{\prime }(x)=2x$$

假设初始位置为：

$$x_0=1.2$$

假设学习率：

$$\eta =0.3$$

根据公式(1)，迭代公式：

$$x_{n+1}=x_n-\eta \cdot \nabla J(x)=x_n-\eta \cdot 2x\text{\hspace{1em}(1)}$$

假设终止条件为J(x)<1e-2，迭代过程是：

x=0.480000, y=0.230400
x=0.192000, y=0.036864
x=0.076800, y=0.005898
x=0.030720, y=0.000944

2.3.4 双变量的梯度下降

假设一个双变量函数：

$$J(x,y)=x^2+{\sin }^2(y)$$

我们的目的是找到该函数的最小值，于是计算其微分：

$$\frac{\partial J(x,y)}{\partial x}=2x$$
$$\frac{\partial J(x,y)}{\partial y}=2\sin y\cos y$$

假设初始位置为：

$$(x_0,y_0)=(3,1)$$

假设学习率：

$$\eta =0.1$$

根据公式(1)，迭代过程是的计算公式：
$$(x_{n+1},y_{n+1})=(x_n,y_n)-\eta \cdot \nabla J(x,y)$$
$$=(x_n,y_n)-\eta \cdot (2x,2\cdot \sin y\cdot \cos y)\text{\hspace{1em}(1)}$$

根据公式(1)，假设终止条件为$J(x,y)<1e-2$，迭代过程如表2-3所示。

表2-3 双变量梯度下降的迭代过程

迭代次数	x	y	J(x,y)
1	3	1	9.708073
2	2.4	0.909070	6.382415
…	…	…	…
15	0.105553	0.063481	0.015166
16	0.084442	0.050819	0.009711

迭代16次后，J(x,y)的值为0.009711，满足小于1e-2的条件，停止迭代。

上面的过程如表2-4所示，由于是双变量，所以需要用三维图来解释。

2.4 损失函数

2.4.1 概念

在各种材料中经常看到的中英文词汇有：误差，偏差，Error，Cost，Loss，损失，代价…意思都差不多，在本书中，使用“损失函数”和“Loss Function”这两个词汇，具体的损失函数符号用J来表示，误差值用loss表示。

“损失”就是所有样本的“误差”的总和，亦即（m为样本数）：

$$损失=\sum _{i=1}^m误{差}_i$$

$$J=\sum _{i=1}^{m}loss$$

损失函数的作用

损失函数的作用，就是计算神经网络每次迭代的前向计算结果与真实值的差距，从而指导下一步的训练向正确的方向进行。

如何使用损失函数呢？具体步骤：

1. 用随机值初始化前向计算公式的参数；
2. 代入样本，计算输出的预测值；
3. 用损失函数计算预测值和标签值（真实值）的误差；
4. 根据损失函数的导数，沿梯度最小方向将误差回传，修正前向计算公式中的各个权重值；
5. goto 2, 直到损失函数值达到一个满意的值就停止迭代。

2.4.2 机器学习常用损失函数

符号规则：a是预测值，y是样本标签值，J是损失函数值。

• Gold Standard Loss，又称0-1误差
  $$loss=\{\begin{array}{ll}0& a=y\\ 1& a\ne y\end{array}$$

• 绝对值损失函数

$$loss=|y-a|$$

• Hinge Loss，铰链/折页损失函数或最大边界损失函数，主要用于SVM（支持向量机）中

$$loss=max(0,1-y\cdot a),y=\pm 1$$

• Log Loss，对数损失函数，又叫交叉熵损失函数(cross entropy error)

l o s s = − 1 m ∑ i m y i l o g ( a i ) + ( 1 − y i ) l o g ( 1 − a i ) y i ∈ { 0 , 1 } loss = -\frac{1}{m} \sum_i^m y_i log(a_i) + (1-y_i)log(1-a_i) \qquad y_i \in \{0,1\} loss=−m1​i∑m​yi​log(ai​)+(1−yi​)log(1−ai​)yi​∈{0,1}

• Squared Loss，均方差损失函数
  $$loss=\frac{1}{2m}\sum _i^m(a_i-y_i{)}^2$$

• Exponential Loss，指数损失函数
  $$loss=\frac{1}{m}\sum _i^m{e}^{-(y_i\cdot a_i)}$$

2.4.3 神经网络中常用的损失函数

• 均方差函数，主要用于回归

• 交叉熵函数，主要用于分类

二者都是非负函数，极值在底部，用梯度下降法可以求解。

（1）均方差函数

MSE - Mean Square Error

该函数就是最直观的一个损失函数了，计算预测值和真实值之间的欧式距离。预测值和真实值越接近，两者的均方差就越小。

均方差函数常用于线性回归(linear regression)，即函数拟合(function fitting)。公式如下：

$$loss=\frac{1}{2}(z-y{)}^2\text{\hspace{1em}(单样本)}$$

$$J=\frac{1}{2m}\sum _{i=1}^m(z_i-y_i{)}^2\text{\hspace{1em}(多样本)}$$

（1.1）工作原理

要想得到预测值a与真实值y的差距，最朴素的想法就是用$Error=a_i-y_i$。

对于单个样本来说，这样做没问题，但是多个样本累计时，$a_i-y_i$有可能有正有负，误差求和时就会导致相互抵消，从而失去价值。所以有了绝对值差的想法，即$Error=|a_i-y_i|$。这看上去很简单，并且也很理想，那为什么还要引入均方差损失函数呢？两种损失函数的比较如表3-1所示。

表3-1 绝对值损失函数与均方差损失函数的比较

样本标签值	样本预测值	绝对值损失函数	均方差损失函数
$[1,1,1]$	$[1,2,3]$	$(1-1)+(2-1)+(3-1)=3$	$(1-1{)}^2+(2-1{)}^2+(3-1{)}^2=5$
$[1,1,1]$	$[1,3,3]$	$(1-1)+(3-1)+(3-1)=4$	$(1-1{)}^2+(3-1{)}^2+(3-1{)}^2=8$
		$4/3=1.33$	$8/5=1.6$

可以看到5比3已经大了很多，8比4大了一倍，而8比5也放大了某个样本的局部损失对全局带来的影响，用术语说，就是“对某些偏离大的样本比较敏感”，从而引起监督训练过程的足够重视，以便回传误差。

（2）交叉熵损失函数

交叉熵（Cross Entropy）是Shannon信息论中一个重要概念，主要用于度量两个概率分布间的差异性信息。在信息论中，交叉熵是表示两个概率分布 $p,q$ 的差异，其中 $p$ 表示真实分布，$q$ 表示预测分布，那么$H(p,q)$就称为交叉熵：

$$H(p,q)=\sum _i{p}_i\cdot \ln \frac{1}{q_i}=-\sum _i{p}_i\ln q_i\text{\hspace{1em}(1)}$$

交叉熵可在神经网络中作为损失函数，$p$ 表示真实标记的分布，$q$ 则为训练后的模型的预测标记分布，交叉熵损失函数可以衡量 $p$ 与 $q$ 的相似性。

交叉熵函数常用于逻辑回归(logistic regression)，也就是分类(classification)。

（2.1）交叉熵的由来

信息量

信息论中，信息量的表示方式：

$$I(x_j)=-\ln (p(x_j))\text{\hspace{1em}(2)}$$

$x_j$：表示一个事件

$p(x_j)$：表示$x_j$发生的概率

$I(x_j)$：信息量，$x_j$越不可能发生时，它一旦发生后的信息量就越大

假设对于学习神经网络原理课程，我们有三种可能的情况发生，如表3-2所示。

表3-2 三种事件的概论和信息量

事件编号	事件	概率 $p$	信息量 $I$
$x_1$	优秀	$p=0.7$	$I=-\ln (0.7)=0.36$
$x_2$	及格	$p=0.2$	$I=-\ln (0.2)=1.61$
$x_3$	不及格	$p=0.1$	$I=-\ln (0.1)=2.30$

WoW，某某同学不及格！好大的信息量！相比较来说，“优秀”事件的信息量反而小了很多。

熵

$$H(p)=-\sum _j^{n}p(x_j)\ln (p(x_j))\text{\hspace{1em}(3)}$$

则上面的问题的熵是：

$$\begin{array}{rl}H(p)& =-[p(x_1)\ln p(x_1)+p(x_2)\ln p(x_2)+p(x_3)\ln p(x_3)]\\ & =0.7\times 0.36+0.2\times 1.61+0.1\times 2.30\\ & =0.804\end{array}$$

相对熵(KL散度)

相对熵又称KL散度，如果我们对于同一个随机变量 $x$ 有两个单独的概率分布 $P(x)$ 和 $Q(x)$，我们可以使用 KL 散度（Kullback-Leibler (KL) divergence）来衡量这两个分布的差异，这个相当于信息论范畴的均方差。

KL散度的计算公式：

$$D_{KL}(p||q)=\sum _{j=1}^{n}p(x_j)\ln \frac{p(x_j)}{q(x_j)}\text{\hspace{1em}(4)}$$

$n$ 为事件的所有可能性。$D$ 的值越小，表示 $q$ 分布和 $p$ 分布越接近。

交叉熵

把上述公式变形：

$$\begin{array}{rl}{D}_{KL}(p||q)& =\sum _{j=1}^{n}p(x_j)\ln p(x_j)-\sum _{j=1}^{n}p(x_j)\ln q(x_j)\\ & =-H(p(x))+H(p,q)\end{array}\text{\hspace{1em}(5)}$$

等式的前一部分恰巧就是p的熵，等式的后一部分，就是交叉熵：

$$H(p,q)=-\sum _{j=1}^{n}p(x_j)\ln q(x_j)\text{\hspace{1em}(6)}$$

在机器学习中，我们需要评估label和predicts之间的差距，使用KL散度刚刚好，即$D_{KL}(y||a)$，由于KL散度中的前一部分$H(y)$不变，故在优化过程中，只需要关注交叉熵就可以了。所以一般在机器学习中直接用交叉熵做损失函数来评估模型。

$$loss=-\sum _{j=1}^n{y}_j\ln a_j\text{\hspace{1em}(7)}$$

其中，$n$ 并不是样本个数，而是分类个数。所以，对于批量样本的交叉熵计算公式是：

$$J=-\sum _{i=1}^m\sum _{j=1}^n{y}_{ij}\ln a_{ij}\text{\hspace{1em}(8)}$$

$m$ 是样本数，$n$ 是分类数。

有一类特殊问题，就是事件只有两种情况发生的可能，比如“学会了”和“没学会”，称为$0/1$分布或二分类。对于这类问题，由于$n=2$，所以交叉熵可以简化为：

$$loss=-[y\ln a+(1-y)\ln (1-a)]\text{\hspace{1em}(9)}$$

二分类对于批量样本的交叉熵计算公式是：

$$J=-\sum _{i=1}^m[y_i\ln a_i+(1-y_i)\ln (1-a_i)]\text{\hspace{1em}(10)}$$