《机器学习》之《神经网络》作业
《机器学习》之《神经网络》作业
误差反向传播算法是通过误差函数计算实际输出值与期望输出值之间的误差,把误差从最后的输出层依次传播到之前各层,最后通过调整各层连接权重与偏置达到减小误差的目的。而权重和偏置的调整一般使用梯度下降法。
以包含隐藏层的多层感知器为例,结构如下图所示:
图中和推导过程中涉及的符号代表的含义如下表所示:
符号 | 含义 |
---|---|
xi | 输出值 |
aj | 隐藏层激活值 |
yk | 实际输出值 |
rk | 期望输出值 |
w1ij | 网络输入层的第i个神经元和下一层网络第j个神经元之间的连接权重 |
w2jk | 网络隐藏层的第j个神经元和下一层网络第k个神经元之间的连接权重 |
bj2 | 网络隐藏层第j个神经元的偏置 |
bk3 | 网络输出层第k个神经元的偏置 |
u1j | 隐藏层第j个神经元的激活函数的加权输入 |
u2k | 输出层第k个神经元的激活函数的加权输入 |
E | 误差函数 |
η | 学习率 |