BP神经网络理解及公式推导

BP神经网络理解及公式推导

__508任务

仅个人学习记录使用，可能有误

---

一、人工神经网络

人工神经网络（ANN）是一种旨在模仿人脑结构及其功能的由多个非常简单的处理单元彼此按某种方式相互连接而形成的计算机系统，该系统靠其状态对外部输入信息的动态响应来处理信息 。

神经网络是一种运算模型，由大量的节点(也可以说神经元)之间连接构成。每个节点代表一种特定的输出函数，称为激励函数或者激活函数。每两个节点间的连接都代表一个对于通过连接信号的加权值，称之为权重。这相当于人神经的记忆(就是仿生)，神经网络的输出则根据网络的连接方式、权重值和激活函数的不同而不同。而网络本身通常都是对自然界某种算法或函数的逼近，也可能是一种逻辑策略的表达。简单来说，人工神经网络搭建利用函数拟合的性质体现某种规律。人工神经网络的每个节点（神经元）不同于生物上的神经元只有激活和抑制两种状态，它通过激活函数传递一种可连续变化的值。在神经网络中，输入层与输出层之间的层称为隐含层或隐层，隐层和输出层的神经元都是具有激活函数的功能神经元。
关于神经网络结构可参考视频

二、逆向误差神经网络

2.1梯度下降法

首先我们介绍一下梯度下降法，机器学习中很多技术的实现都是基于这个方法
梯度下降的基本过程和下