github上的项目,跟着一起学习
项目地址 https://github.com/MLEveryday/100-Days-Of-ML-Code
Youtube频道3Blue1Brown关于神经网络的第3部分,这个视频主要介绍了偏导数和反向传播法。
B站视频在这里。(https://www.bilibili.com/video/av16577449?p=2)
以下是视频笔记:
反向传播的微积分原理 看不太懂很正常 停一停 想一想
在机器学习中,如何理解链式法则
从最简单的神经网络讲起,每层一个神经元,3个权重,3个偏置。
我们的目标是,理解代价函数对于这些变量有多敏感,这样我们就知道如何调整这些变量,才能使代价下降得最快。
先看最后2个神经元,L表示在L层
给定一个训练样本,我们把这个最终层激活值要接近的目标叫做y,y是0或1
网络对于单个训练样本的代价
最终激活值的计算
起个中间变量z
链式法则