神经网络介绍

● 传统神经网络结构比较简单，训练时随机初始化输入参数，并开启循环计算输出结果，与实际结果进行比较从而得到损失函数，并更新变量使损失函数结果值极小，当达到误差阈值时即可停止循环。

● 神经网络的训练目的是希望能够学习到一个模型，实现输出一个期望的目标值。学习的方式是在外界输入样本的刺激下不断改变网络的连接权值。

● 传统神经网络主要分为三类：前馈型神经网络、反馈型神经网络、自组织神经网络。这几类有不同的学习训练算法，可以归结为有监督学习算法和无监督学习算法。

● 前馈神经网络（20世纪80年代）是一种单向多层的网络结构，即信息是输入层开始，逐层向一个方向传递，一直到输出层结束。不调整权重参数。

● BP神经网络也是前馈神经网络，只是它的权重参数由反向传播的算法调整的。BP神经网络结构包括输入层、隐层、输出层，利用激活函数来实现从输入到输出的任意非线性映射，从而模拟各层神经元之间的交互。激活函数必须满足处处可导的条件。
BP神经网络训练过程的基本步骤：
——初始化网络权重和神经元的阈值，一般通过随机的方式进行初始化
——前向传播：计算隐层神经元和输出层神经元的输出
——后向传播：根据目标函数公式修正权值Wij
训练的目的：优化权重和偏差，使损失值最小。
批量训练：所以样本训练完之后，根据损失函数迭代调整权重和偏差。
随机梯度下降：随机选择部分样本，每输入一个样本，则调整一次权重和偏差。

● “梯度消失”问题：在优化调整权重参数时，越靠近输入层，权重越小，通常都是接近于0，所以权重基本上修改的很少或者没有修改，则导致学习较差或停止。（要