神经网络的基本结构介绍

一、一个最简单的神经网络

（一）实例引入——利用神经网络预测房价

现在我们拿到一批关于房价和房屋面积的数据，我们想要利用这批数据来预测房价，我们会如何做？

在传统的统计学方法中，通常的做法是利用线性模型去拟合房价与房屋面积之间的关系，从而得到一个房价的预测模型，但是在现实生活中，房价是不会为负的，因此，我们会把直线弯曲一下，让它最终在0处结束。
这个线性模型就可以看做是一个最简单的神经网络，这个神经网络的输入层，中间层和输出层只有一个神经元，这个神经网络实现了利用房屋面积预测房价的功能。
在这个神经网络中，起到关键作用的即为中间层的神经元，它可以看做线性函数$z(a)=wa+b$和激活函数$\sigma (z)$的组合。
激活函数这个概念经常会在神经网络相关文章中出现，激活函数的作用就是给线性函数加上一个非线性变换，这种非线性使得我们能够学习到输入与输出之间任意复杂的变换关系，而这里我们所使用的激活函数作叫做ReLU 激活函数，它的全称是 Rectified Linear Unit。

（二）神经网络输入层，中间层和输出层的理解

上面我们所讲的是一个单神经元网络结构，以后不管神经网络的规模大小，神经网络都是由这样一个一个单神经元网络堆叠起来的，把这些神经元想象成单独的乐高积木，你就通过搭积木来完成一个更大的神经网络。
我们现在从刚刚的例子出发，想象一下现实生活中，房价和什么因素有关。

• 我们需要房子能容纳我们家庭的人数，因此不仅仅需要考虑房屋面积，还需要房间的个数。
• 我们还需要考虑房子附近的教育水平，因此需要考虑附近学校的个数，还有教育质量，这其实就是我们经常讨论的“学区房”。
• 另外，我们还需要考虑房子周边的地铁和公交站数量，这直接决定我们出行是否方便。

我们拿到这些数据以后，就能得到一个更大的神经网络，这个网络和输入层还和之前的一样，表示我们的数据特征，只不过因为特征多了，输入层的神经元个数也增多了，每个神经元对应一个特征，输出层就代表房价，这个没有变化。
但是此时中间层在用一个神经元已经有些不合适了，因为此时我们特征变多了，特征的组合代表的含义也不尽相同，用一个神经元去表示这些特征有点太过粗糙，因此中间层的神经元也需要增多，以表示从原始特征中学到的更为细致的特征，比如房屋面积和房间数量能表示容纳家庭人数，学校数量和学校质量表示教育质量。但是这些特征只是帮助我们去理解神经网络学习的直观解释，实际上神经网络学习的什么，我们也不知道（神经网络为什么是个黑盒？）
到此时，我们应该对神经网络的基本结构和大致含义有了一个初步的认知，现在总结一下神经网络各部分的具体含义：

从这个例子我们可以看出，神经网络是属于监督学习。

二、神经网络中机器学习的三要素

神经网络最大的优点就是，只要给它输入X，就能得到Y，它可以自己计算所有的中间过程，那么神经网络是如何计算的？这就不得不提到神经网络的三要素。

三、神经网络的模型

（一）神经网络模型直观上的理解

（二）神经网络模型各元素的含义

1、模型含义

（1）模型整体结构

• 输入：输入层每个神经元对应一个变量特征，输入层的神经元相当于装有数字的容器
• 输出：输出层，回归问题为一个神经元，分类问题为多个神经元
• 参数：网络中所有的参数，即中间层神经元的权重和偏置

神经网络的学习过程即为学习参数的过程
（2）权重
表示激活值加权和中的权重，有点像连接的强弱，可以理解为通过权重的大小和正负来学习特征
（3）偏置
用来控制神经元是否激活，即告诉你加权有多大，才能让神经元的激发变得有意义，例如房价例子中，前面的加权和大于1000，但是仍然不想让神经元被激活，因为该地区的房价均是大于1000的，这时在后面加一个-1000的偏置就可以了，这里的解释仍然是直观的解释，并不是神经网络学习时实际代表的意义。
（4）激活函数
激活函数的作用就是给线性函数加上一个非线性变换，这种非线性使得我们能够学习到输入与输出之间任意复杂的变换关系，不同的激活函数有不同的意义，例如上文提到的ReLU 激活函数，它可以使激活值大于等于0。（激活函数的介绍）

2、公式含义

（1）单个神经元
$\sigma (w_1{a}_1+w_2{a}_2+\cdot \cdot \cdot +w_n{a}_n+b)$

• 输入：$a_n$表示输入值，
• 权重：$w_n$表示权重
• 偏差：$b_k$，和神经元的个数一致，一个神经元有一个偏置值

注意点：每个神经元都与前一层的激活值相连接，利用权重的大小来表示连接的强弱

（2）对于中间层所有的神经元
σ ( [ w 0 , 0   w 0 , 1 ⋯ w 0 , n w 1 , 0   w 1 , 1 ⋯ w 1