反向传播推导(方差)

VAMOT

已于 2024-01-08 01:29:26 修改

阅读量357

点赞数 6

文章标签：机器学习深度学习算法

于 2024-01-08 00:51:53 首次发布

本文链接：https://blog.csdn.net/weixin_48633207/article/details/135446217

版权

本文详细介绍了多层感知机（MLP）中的关键组件，包括权重矩阵w和偏置b在不同层（输入层、隐藏层和输出层）的应用，以及如何进行参数更新。重点讲述了隐藏层的权重和偏置处理以及简化过程。

摘要由CSDN通过智能技术生成

o-1层xi	$x_1^{o-1}$	$x_2^{o-1}$	$x_3^{o-1}$	...
o-1层wij	$w_{11}^{o-1}$ ， $w_{12}^{o-1}$ ， $w_{13}^{o-1}$ ,...	$w_{21}^{o-1}$ ， $w_{22}^{o-1}$ ， $w_{23}^{o-1}$ ,...	$w_{31}^{o-1}$ ， $w_{32}^{o-1}$ ， $w_{33}^{o-1}$ ,...	...
o-1层zj	$z_1^{o-1}$	$z_2^{o-1}$	$z_3^{o-1}$	...
o-1层yj, o层xi	$y_1^{o-1}$ ， $x_1^o$	$y_2^{o-1}$ ， $x_2^o$	$y_3^{o-1}$ ， $x_3^o$	...
o层wij	$w_{11}^{o}$ ， $w_{12}^{o}$ ， $w_{13}^{o}$ ,...	$w_{21}^{o}$ ， $w_{22}^{o}$ ， $w_{23}^{o}$ ,...	$w_{31}^{o}$ ， $w_{32}^{o}$ ， $w_{33}^{o}$ ,...	...
o层zj	$z_1^{o}$	$z_2^{o}$	$z_3^{o}$	...
o层yj	$y_1^o$	$y_2^o$	$y_3^o$	...

一、输出层

$E = \frac{1}{2}\sum_j (y_{j}-t_{j})^2$

1.权重w

$\frac{\partial E}{\partial w_{ij}^{o}}= \frac{\partial}{\partial w_{ij}^{o}}(\frac{1}{2}\sum_j (y_{j}-t_{j})^2)=(y_{j}-t_{j})\frac{\partial y_{j}}{\partial w_{ij}^{o}}$

$\frac{\partial y_{j}}{\partial w_{ij}^{o}}=\frac{\partial}{\partial w_{ij}^{o}}(f(\sum_l w_{lj}^ox_{l}^o+b_{j}^o))=f'(z_j^o)\sum_l\frac{\partial}{\partial w_{ij}^{o}}(w_{lj}^ox_{l}^o+b_{j}^o) = f'(z_j^o)x_i^o$

$\frac{\partial E}{\partial w_{ij}^{o}}=(y_{j}-t_{j})f'(z_j^o)x_i^o$

2.偏置b

$\frac{\partial E}{\partial b_j^{o}}= \frac{\partial}{\partial b_j^{o}}(\frac{1}{2}\sum_j (y_{j}-t_{j})^2)=(y_{j}-t_{j})\frac{\partial y_{j}}{\partial b_j^{o}}$

$\frac{\partial y_{j}}{\partial b_j^{o}}=\frac{\partial}{\partial b_j^{o}}(f(\sum_l w_{lj}^ox_{l}^o+b_{j}^o))=f'(z_j^o)\sum_l\frac{\partial}{\partial b_j^{o}}(w_{lj}^ox_{l}^o+b_{j}^o) = f'(z_j^o)$

$\frac{\partial E}{\partial b_j^{o}}=(y_{j}-t_{j})f'(z_j^o)$

3.简化

$\delta_j^o =(y_{j}-t_{j})f'(z_j^o)$

$\frac{\partial E}{\partial w_{ij}^{o}}=\delta_j^ox_i^o$

$\frac{\partial E}{\partial b_j^{o}}=\delta_j^o$

二、隐藏层

1.权重w

$\frac{\partial E}{\partial w_{ij}^{o-1}}= \frac{\partial}{\partial w_{ij}^{o-1}}(\frac{1}{2}\sum_k (y_{k}-t_{k})^2)=\sum_k(y_{k}-t_{k})\frac{\partial y_{k}}{\partial w_{ij}^{o-1}}$

$\frac{\partial y_{k}}{\partial w_{ij}^{o-1}}=\frac{\partial}{\partial w_{ij}^{o-1}}(f(\sum_l w_{lk}^oy_{l}^{o-1}+b_{k}^o))=f'(z_k^o)w_{jk}^o\frac{\partial y_j^{o-1}}{\partial w_{ij}^{o-1}}= f'(z_k^o)w_{jk}^of'(z_j^{o-1})x_i^{o-1}$

$\frac{\partial E}{\partial w_{ij}^{o-1}}=\sum_k(y_{k}-t_{k})f'(z_k^o)w_{jk}^of'(z_j^{o-1})x_i^{o-1} = \sum_k \delta_k^ow_{jk}^of'(z_j^{o-1})x_i^{o-1}$

2.偏置b

$\frac{\partial E}{\partial b_j^{o-1}}= \frac{\partial}{\partial b_j^{o-1}}(\frac{1}{2}\sum_k (y_{k}-t_{k})^2)=\sum_k(y_{k}-t_{k})\frac{\partial y_{k}}{\partial b_j^{o-1}}$ $\frac{\partial y_{k}}{\partial b_j^{o-1}}=\frac{\partial}{\partial b_j^{o-1}}(f(\sum_l w_{lk}^oy_{l}^{o-1}+b_{k}^o))=f'(z_k^o)w_{jk}^o\frac{\partial y_j^{o-1}}{\partial b_j^{o-1}}= f'(z_k^o)w_{jk}^of'(z_j^{o-1})$