目标检测---神经网络的参数更新过程（正向与反向）

目标检测—神经网络的参数更新过程（正向与反向）

在tf代码框架中，肯定少不了一个loss和优化器的构建~那么到底是如何进行更新参数的呢？
这篇blog举个实例来说明其中的更新过程~~

思路

神经网络的一种求解W的算法，分为信号“正向传播(FP)”求损失，“反向传播(BP)”回传误差；根据误差值修改每层的权重，继续迭代，直到参数更新到固定值的时候，预测值与真实值的误差最小。

下面随便举一个栗子来说明~

假设有一个样本数据，它有两个特征(L1,L2)，同时，假设每个样本有两个输出（O1,O2）,w和b初始值随机给定。

正向过程

net：是指h1经过L_1和L_2经过混合计算之后的值
out：net结果经过sigmoid函数转换

其实，这个时候，我们可以得到第一次FP的o1和o2的值

这里，采用的是均方差损失函数

计算第一次正向传播之后得到的损失值~

反向过程

这里其实就是应用链式求导~



以上是对最后一层的参数的更新