----------------------------------------------------------------------------------------------------
这个phd讲的课,感觉在念ppt。。。
这门课程不适合入门,吴恩达的课比较基础,易懂,零基础来上这门课的话估计听不懂的。
----------------------------------------------------------------------------------------------------
使用计算图模型去一步步计算导数,可以使得非常复杂的函数的偏导数被轻易地计算----链式求导
max结点的当前梯度为0(小的那个数)或者1(大的那个数)
--------------------------------------------------------------------------------
结点分配到多个下层结点,计算梯度时,要累加
----------------------------------------------------------------------------------------------------------------
在进行ReLU激活的时候,向量对向量的微分是一个雅克比矩阵,每一行对应一个分母向量的元素。这样做的话参数太多了,事实上,雅克比矩阵是一个对角阵,我们只关心对角线元素。
-----------------------------------------------------------------------------------------------------------------