目标检测理论基础(2)：神经网络与BP算法

目录

神经网络

 生物神经元

  人工神经元

 人工神经网络

 “层”的通俗理解

前馈神经网络

目标函数

 梯度下降

 权重改变量

 误差传播迭代公式

---

神经网络

神经网络：大量（结构简单的、功能接近的）神经元节点按一定体系架构连接成的网状结构——就是大脑的结构。
神经网络的作用：分类、模式识别、连续值预测
建立输入与输出的映射关系

 生物神经元

生物神经元的结构大致描述如下图所示。
生物神经元之间的相互连接，从而让信息传递。

  人工神经元

 激活函数

 

 人工神经网络

 基础神经网络
        •神经元
                •   输入向量x                               
                •   权重向量w
                •   偏置标量b
                •   激活函数sigmoid
        •浅网络
                •   3~5层
                •   优化
                • 梯度下降
                • BP后向传播（链式规则）

 “层”的通俗理解

“层”实现了输入空间到输出空间的线性或非线性变换。
假设输入是碳原子和氧原子[C；O]，输出三个变量。
通过改变权重的值，可以获得若干个不同物质    ——提取不同的特征。
右侧的节点数决定了想要获得多少种不同的新物质     ——提取特征的个数。

         

前馈神经网络

前馈神经网络，是人工神经网络的一种，各神经元从输入层开始，接收前一级输入，并输出到下一级，直至输出层。整个网络中无反馈， 可用一个有向无环图表示。
前馈神经网络采用一种单向多层结构。其中每一层包含若干个神经元，同一层的神经元之间没有互相连接，层间信息的传送只沿一个方向进行。
其中第一层称为输入层。最后一层为输出层． 中间为隐含层。隐含层可以是一层，也可以是多层。

目标函数

 

 梯度下降

这是一个表示参数w与目标函数J(w)的关系图，红色的部分是表示J(w)有着比较高的取值， 需要能够让J(w)的值尽量的低。也就是深蓝色的部分。w1，w2表示w向量的两个维度。
先确定一个初始点，将 w按照梯度下降的方向 进行调整，就会使得J(w)往更低的方向进行变化， 如图所示，算法的结束 将是在w下降到无法继续下降为止。

 权重改变量

 

  

 

 误差传播迭代公式

 输出层和隐藏层的误差传播公式可统一为：
    权重增量 = -1*学习步长*目标函数对权重的偏导数
    目标函数对权重的偏导数 =    -1*残差*当前层的输入
    残差= 当前层激励函数的导数*上层反传来的误差
    上层反传来的误差 = 上层残差的加权和

 简单的BP算法示例