矩阵最小二乘法

最近在学习深度学习的理论知识，一上来矩阵求导就干趴了我，于是乎今天决定开始以写日记的方式记录我的生活~

首先摆明两个公式：

（可下去手推）

 -----------------------------------------------------------------------------------公式1

 --------------------------------------------------------------------------------------公式2

线性回归损失L：

 

 注意，分子均为标量，标量的转置等于变量，故：

此时可分为：

第一项中Y.TY没有M故，此时导数为[0,...,0].T

第二项可利用公式2得-2XY

第三项可利用公式1得2XX.T

故：

令得：

XY = XX.TM

M=(XX.T)