深度学习框架Keras学习系列（二）：神经网络与BP算法（Neural Network and BP Algorithm）

概念

神经网络

请参照这篇文章神经网络浅讲：从神经元到深度学习，以对神经网络的发展历史以及其数学原理有一个基本的了解。本文只对将要在后续过程中使用的神经网络模型进行介绍。

神经网络本质上是一个数理模型，它最初的灵感来自于人大脑中的神经系统，不过发展到后来已经与其灵感来源没什么太大关联了。

要了解全局，我们首先要了解局部。

神经网络（artificial neural network）本质上就是由多层（layer）神经元（neuron）构成的一个可接受输入，并能输出结果的一个算法（algorithm）。

既然神经网络的基本单位是神经元，那么我们就首先来看，神经元的定义是什么。而神经元的定义，我们参考Andrew Ng在Deep Learning教程中的引入方法来介绍，从Logistic Regression说起。

Logistic Regression

给定一个样本的x（特征输入向量），我们想得到该样本所属的类别y（0或1）。不过我们希望有个模型最好能告诉我们，该样本属于1或0的概率是多少，于是，logistic regression应运而生。

用公式来表达：

Given x, want $\hat{y}=P(y=1|x)$, $x \in R^{n_x}$

Parameters: $w \in R^{n_x}$, b$\in$R

Output: $\hat{y}=\sigma(w^Tx+b)$

$z:=w^Tx+b$

另外，我们将z代入一种名为sigmoid的函数，看函数的值如何随z的变化而变化。

可以看出，sigmoid函数的特性是，当z很大，函数值接近1，z很小，函数值接近0。而这个输出的值域刚好和概率值的值域是一致的，因此，我们可以将一个训练好的logistic模型输出的值作为判断一个样本属于某个类的概率。

而最终，我们的logistic regression模型的目标就是学习最好的w和b参数，以使得模型能够在判断新样本的类型时，有最高的正确率。

获得最优w，b参数的过程叫做训练，训练需要首先找到一个成本函数（cost function），作为模型是否被训练的足够好的参考。

在线性模型的训练中，损失函数（Loss（error） Function）被定义为：

$$l(\hat{y},y)=\frac{1}{2}(\hat{y}-y)^2$$ ，但是logistic regression的模型不能采用这个损失函数，因为该函数会在这里编程非凸（not convex）函数，导致训练很容易陷入一个局部最优解（local optima），即梯度下降无法获得好的效果，导致最终不能得到足够好的模型。

（注意，损失函数针对的是在单个样本上的误差，而成本函数针对的是整个训练集的平均误差，成本函数是最终的优化目标【参考这里】）

于是，针对这种情况，LR采取了以下特定损失函数：

$$l(\hat{y},y)=-(ylog\hat{y}+(1-y)log(1-\hat{y}))$$

这个损失函数的特性是：
- 当y=1，$l(\hat{y},y)=-log\hat{y}$, 而此时若$\hat{y}$的值偏离1比较远（由于sigmoid函数的取值，只能是向0方向偏移），根据log函数的特性，$l(\hat{y},y)$会变得特别大。
- 当y=0， l(ŷ ,y)=−log(1−ŷ )