----------------------------------------------------------------------------------------------------
这个phd讲的课，感觉在念ppt。。。
这门课程不适合入门，吴恩达的课比较基础，易懂，零基础来上这门课的话估计听不懂的。
----------------------------------------------------------------------------------------------------
使用计算图模型去一步步计算导数，可以使得非常复杂的函数的偏导数被轻易地计算----链式求导
max结点的当前梯度为0（小的那个数）或者1（大的那个数）
--------------------------------------------------------------------------------
结点分配到多个下层结点，计算梯度时，要累加
----------------------------------------------------------------------------------------------------------------
在进行ReLU激活的时候，向量对向量的微分是一个雅克比矩阵，每一行对应一个分母向量的元素。这样做的话参数太多了，事实上，雅克比矩阵是一个对角阵，我们只关心对角线元素。
-----------------------------------------------------------------------------------------------------------------
206
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
