2——Backpropagation(反向传播)

2——Backpropagation(反向传播)

先上summy总结这节课的内容

整节课的大致思路是推导Backpropagation。

通过计算Gradient Descent去估计Loss，选择θ
而Backpropagation就是一种快速计算GD的方法

如其名和上图，把GD用高数的知识拆分出两部分，因为第一部分很好算，就是系数，第二部分不好算，推导方法是假设已知往后走，实际上算的时候就是从OUT那从后往前算，计算量是一样的，方法也和正向的一样。这就是为什么叫作反传播算法吧。

高数真的很基础，也很重要。

这节课是在公交上和晚上看的，白天精力都在干其它事情，没想到一天是在疲惫的时候才能有少许精力来学专业知识，要加快速度了。

前面的GD都快忘了，得捡起来了。