BP神经网络笔记

 1.预备知识

1.1 感知机

感知机是作为神经网络（深度学习)的起源的算法。因此，学习感知机的构造也就是学习通向神经网络和深度学习的一种重要思想。

感知机接收多个输入信号（值），输出一个信号（值）。似电流流动

橙色圆圈被称为神经元（节点）。

step function对其激活然后输出数据（为什么激活：引入非线性因素）

2、BP神经网络

2.1 定义

BP(BackPropagation)算法是神经网络深度学习中最重要的算法之一，是一种按照误差逆向传播算法训练的多层前馈神经网络，是应用最广泛的神经网络模型之一。了解BP算法可以让我们更理解神经网络深度学习模型训练的本质，属于内功修行的部分。（反向传播）

BP算法的核心思想是:学习过程由信号的正向传播（计算）和误差的反向传播（计算）两个过程组成。

正反向传播

从左到右依次为输入层、隐藏层、输出层

2.2  推导 

正向传播

 反向传播：利用链式法则计算输出的结果对w的梯度，算出梯度更新w

求出梯度后，w5=w5-lr*梯度，更新w5 ，其余的同理

 迭代多次后，误差就能减少很多，得到较为准确的结果