最近在学习深度学习的理论知识,一上来矩阵求导就干趴了我,于是乎今天决定开始以写日记的方式记录我的生活~
首先摆明两个公式:
(可下去手推)
-----------------------------------------------------------------------------------公式1
--------------------------------------------------------------------------------------公式2
线性回归损失L:
注意,分子均为标量,标量的转置等于变量,故:
此时可分为:
第一项中Y.TY没有M故,此时导数为[0,...,0].T
第二项可利用公式2得-2XY
第三项可利用公式1得2XX.T
故:
令得:
XY = XX.TM
M=(XX.T)