简述神经网络模型

一：前言
让我们来看一个经典的神经网络。这是一个包含三个层次的神经网络。红色的是输入层，绿色的是输出层，紫色的是中间层（也叫隐藏层）。输入层有3个输入单元，隐藏层有4个单元，输出层有2个单元。后文中，我们统一使用这种颜色来表达神经网络的结构。

有此图我们可以记住：

• 1.一个神经网络时，输入层与输出层的节点数往往是固定的，中间层则可以自由指定；
• 2.神经网络结构图中的拓扑与箭头代表着预测过程时数据的流向，但这和训练时的数据流有一定的区别；
• 3.结构图里的关键不是圆圈（代表“神经元”），而是连接线（代表“神经元”之间的连接）。每个连接线对应一个不同的权重（其值称为权值），这也是我们训练的关键

既然是神经网络，我们就不得不把生物神经和机械神经进行对比了

上面两幅图中：细胞核就是求和，轴突就是权值，轴突末梢就是输入

一个神经网络的训练算法就是让权重的值调整到最佳，以使得整个网络的预测效果最好

我们使用a来表示输入，用w来表示权值。一个表示连接的有向箭头可以这样理解：在初端，传递的信号大小仍然是a，端中间有加权参数w，经过这个加权后的信号会变成aw，因此在连接的末端，信号的大小就变成了aw。

　　在其他训练模型里，有向箭头可能表示的是值的不变传递。而在神经元模型里，每个有向箭头表示的是值的加权传递。
　　
　　
　　神经元的计算如图所示，z是在输入和权值的线性加权和叠加了一个函数g的值。
（在MP模型里，函数g是sgn函数，也就是取符号函数。这个函数当输入大于0时，输出1，否则输出0。）

3.功能

神经元模型的使用可以这样理解：

我们有一个数据，称之为样本。样本有四个属性，其中三个属性已知，一个属性未知。我们需要做的就是通过三个已知属性预测未知属性。

具体办法就是使用神经元的公式进行计算。三个已知属性的值是a1，a2，a3，未知属性的值是z。z可以通过公式计算出来。

这里，已知的属性称之为特征，未知的属性称之为目标。假设特征与目标之间确实是线性关系，并且我们已经得到表示这个关系的权值w1，w2，w3。那么，我们就可以通过神经元模型预测新样本的目标。

三：单层神经网络（感知器）

只有两层神经元组成的神经网络

在“感知器”中，有两个层次。

分别是输入层和输出层。

输入层里的“输入单元”只负责传输数据，不做计算。输出层里的“输出单元”则需要对前面一层的输入进行计算。

3.效果
　　与神经元模型不同，感知器中的权值是通过训练得到的。感知器类似一个逻辑回归模型，可以做线性分类任务，例如下图的分类效果。
　　
4.代码实现
我们来做一个最简单的二分类线性分类模型：
简单来说，就是在平面坐标轴画一条直线，把点分为两类。
输入到输出的函数如下：

$$f(x)=sign(w\cdot x+b)$$
w叫做权值，b叫做偏置，sign是符号函数（大于0为1，小于0为-1）

感知机的学习问题转化为求解损失函数的最优化问题，最优化方法是随机梯度下降。
在这个训练集中：
T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . ( x N , y N ) } T = {\{(x_1,y_1),(x_2,y_2),..(x_N,y_N)}\} T={ (x1​,