什么是神经网络？

1.神经网络是什么？

• 神经网络是一种计算模型，由大量的节点(或神经元)直接相互关联而构成；
• 每个节点(除输入节点外)代表一种特定的输出函数(或者认为是运算)，称为激励函数；
• 每两个节点的连接都代表该信号在传输中所占的比重(即认为该节点的“记忆值”被传递下去的比重)，称为权重；
• 网络的输出由于激励函数和权重的不同而不同，是对于某种函数的逼近或是对映射关系的近似描述；
• 说明：在部分网络中，存在偏置项，即对于权重求和结果的修正，描述为:

2.神经网络分类

• 前馈神经网络：在网络中，当前层的输入只依赖于前一层的节点输出，与更早的网络输出状态无关；
• 反馈神经网络：将输出经过一步时移再接入到输入层，输入不仅仅取决于上一层节点的输出；

分类如图：

3.神经网络做什么？

(1) 感知器

网络结构图：

其中，g为激活函数，在感知器中，激活函数为sgn(取符号函数)

网络的最终输出为：

感知器可以实现最基本的模式分类问题；

(2) 两层神经网络

网络结构为：

其中，g函数为激活函数，为sigmoid函数；

网络训练过程：

a.初始化权重，通过前向传播，计算网络的输出；

b.使用代价函数衡量当前的预测与真实值的误差；

c.使用梯度下降，将误差反向传播(链式法则)，修改网络权值；

d.循环，直到网络误差达到目标要求停止，应用训练好的模型对测试样本训练；

(3)多层神经网络(深度学习)

在两层神经网络的基础上，增加隐层的数量，从而提升网络的深度，加强网络预测的能力；

在多层神经网络中，采用Relu函数作为其激活函数；