神经网络中的正向和反向传播问题

正向传播正向传播是指对神经网络沿着从输入层到输出层的顺序,依次计算并存储模型的中间变量(包括输出)。如图所示。假设我们只输入一个x∈Rd\boldsymbol{x} \in \mathbb{R}^{d}x∈Rd的样本,且先不考虑偏差项,这里的d=4那么中间变量z=W(1)x\boldsymbol{z}=\boldsymbol{W}^{(1)} xz=W(1)x其中W(1)∈Rh×d\...
摘要由CSDN通过智能技术生成

正向传播

正向传播是指对神经网络沿着从输入层到输出层的顺序,依次计算并存储模型的中间变量(包括输出)。如图所示。假设我们只输入一个 x ∈ R d \boldsymbol{x} \in \mathbb{R}^{d} xRd的样本,且先不考虑偏差项,这里的d=4
在这里插入图片描述
那么中间变量
z = W ( 1 ) x \boldsymbol{z}=\boldsymbol{W}^{(1)} x z=W(1)x
其中 W ( 1 ) ∈ R h × d \boldsymbol{W}^{(1)} \in \mathbb{R}^{h \times d} W(1)Rh×d,是隐层的权重参数。再将中间变量 z ∈ R h \boldsymbol{z} \in \mathbb{R}^{h} zRh输入按元素运算激活函数后,得到向量长度为 h h h的隐层变量
h = ϕ ( z ) \boldsymbol{h}=\phi(z) h=ϕ(z)
隐层变量 h \boldsymbol{h} h也是一个中间变量。输出层的参数假设只有 W ( 2 ) ∈ R q × h \boldsymbol{W}^{(2)} \in \mathbb{R}^{q \times h} W(2)Rq×h,可以得到向量长度为 q q q的输出层变量
o = W ( 2 ) h \boldsymbol{o}=\boldsymbol{W}^{(2)} \boldsymbol{h} o=W(2)h
假设损失函数为 ℓ \ell ,且样本标签是 y y y,可以计算单个数据样本的损失项为
L = ℓ ( o , y ) L=\ell(\boldsymbol{o}, y) L=(o,y)
再损失项上添加正则化项,使用 L 2 L_{2} L2范数正则化,引入超参数 λ \lambda λ
s = λ 2 ( ∥ W ( 1 ) ∥ F 2 + ∥ W ( 2 ) ∥ F 2 ) s=\frac{\lambda}{2}\left(\left\|\boldsymbol{W}^{(1)}\right\|_{F}^{2}+\left\|\boldsymbol{W}^{(2)}\right\|_{F}^{2}\right) s=2λ(W(1)F2+W(2)F2)
最终,模型在给定的数据样本上,带正则化的损失定义为
J = L + s J=L+s J=L+s
J J J称为数据样本的目标函数。

正向传播计算框图

在这里插入图片描述
从图中可以很清晰的看出整个传播的流向。从下面这个流向,我们也可以大体知道如何到最后的 J J J

x ⟶ W ( 1 ) z ⟶ ϕ h ⟶ W ( 2 ) O ⟶ ℓ L ⟶ + S J \boldsymbol{x} \stackrel{\boldsymbol{W}^{(1)}}{\longrightarrow} \boldsymbol{z} \stackrel{\phi}{\longrightarrow} \boldsymbol{h} \stackrel{W^{(2)}}{\longrightarrow} \boldsymbol{O} \stackrel{\ell}{\longrightarrow} L \stackrel{+S}{\longrightarrow} J xW(1)zϕhW(2)OL+SJ

反向传播

反向传播是指计算神经网络参数梯度的方法,总体而言,反向传播依据的是微积分中的链式法则对输入或输出 X , Y , Z X, Y, Z X,Y,Z为任意形状张量(这里为了推广,统一称张量)的函数<

  • 0
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值