【李宏毅机器学习】backpropagation 反向传播（p13） 学习笔记

全文总结于哔哩大学的视频：李宏毅2020机器学习深度学习(完整版)国语

2020版课后作业范例和作业说明在github上：点击此处

李宏毅上传了2020版本的机器学习视频和吴恩达的CS229机器学习相比，中文版本的机器学习显得亲民了许多，李宏毅的机器学习是英文的ppt+中文讲解，非常有利于大家入门。吴恩达的CS229中偏向于传统机器学习（线性回归、逻辑回归、Naive Bayes、决策树、支持向量机等），李宏毅2020版本的机器学习中除了最前面的回归、分类，后面更多篇幅涉及卷积神经网络（CNN）、循环神经网络（RNN）、强化学习（RL）等深度学习的内容。

博客内容多为转载。结合哔哩大学的视频观看效果更佳。

文章目录

• • Gradient Descent
  • Chain Rule链式法则
  • • 前向传播
    • 反向传播
    • • 情况一：红色的neural是属于网络的output layer的
      • 情况二：假设红色的neural并不是整个网络的output，后面还有其他的东西
  • Summary

Gradient Descent

BP只是为了更加高效地进行梯度计算。

Chain Rule链式法则

输入一个

     x
    
    
     n
    
   
  
  
   x^n
  
 
</span><span class="katex-html"><span class="base"><span class="strut" style="height: 0.664392em; vertical-align: 0em;"></span><span class="mord"><span class="mord mathdefault">x</span><span class="msupsub"><span class="vlist-t"><span class="vlist-r"><span class="vlist" style="height: 0.664392em;"><span class="" style="top: -3.063em; margin-right: 0.05em;"><span class="pstrut" style="height: 2.7em;"></span><span class="sizing reset-size6 size3 mtight"><span class="mord mathdefault mtight">n</span></span></span></span></span></span></span></span></span></span></span></span>，经过神经网络后，得到 <span class="katex--inline"><span class="katex"><span class="katex-mathml">

loss L，对某一个参数进行计算微分。

前向传播

先考虑一个单独的neural

如何计算$alt="在这里插入图片描述">$

在前馈时同时用变量存储了每层的梯度

---

反向传播

如何计算 $)$：知道损失函数、output和target之间是如何evaluate评价的（cross entropy或者mean square error）

在这种情况下（图中蓝色的激活函数是最后一个隐藏层的激活函数，后面就是输出层了），这样就已经完成了。

情况二：假设红色的neural并不是整个网络的output，后面还有其他的东西

从前往后算没有效率，所以要从输出层开始倒着算

在做反向传播的时候，实际上是建立了另外一个神经网络，正向网络中的激活函数都是sigmoid函数；现在需要建立一个反向的神经网络，在前向传播之后，再计算反向传播的激活函数，反向传播神经网络的输入是

</span><span class="katex-html"><span class="base"><span class="strut" style="height: 1em; vertical-align: -0.25em;"></span><span class="mord" style="margin-right: 0.05556em;">∂</span><span class="mord"><span class="mord mathdefault" style="margin-right: 0.07153em;">C</span></span><span class="mord">/</span><span class="mord" style="margin-right: 0.05556em;">∂</span><span class="mord"><span class="mord mathdefault" style="margin-right: 0.02691em;">w</span></span></span></span></span></span>是什么了~</p>