数学：最小二乘的矩阵求导

z = (y - Xw )T (y - Xw)  
// y 列向量 X 矩阵 w 列向量

dz / dw = d{ ( y - Xw )T (y - Xw) } / dw

dz / dw = d( tr{ ( y - Xw )T (y - Xw) } ) / dw  
// 由展开的计算公式而来，tr()为矩阵的迹

dz / dw = d( tr{ yTy - wTXTy - yTXw + wTXTXw } ) / dw
// 定理 (AB)T = BTAT

dz / dw = d( tr{ yTy } ) / dw - d( tr{ wTXTy } ) / dw - d( tr{ yTXw } ) / dw + d( tr{ wTXTXw } ) / dw
// 由迹的定理
 
dz / dw = - d( tr{ wTXTy } ) / dw - d( tr{ yTXw } ) / dw + d( tr{ wTXTXw } ) / dw
// 去掉0项

dz / dw = - XTy - d( tr{ yTXw } ) / dw + d( tr{ wTXTXw } ) / dw
// 定理 d(tr{ATB}) / dA = d(tr{BAT}) / dA = B

dz / dw = - XTy - d( tr{ (yTXw)T } ) / dw + d( tr{ wTXTXw } ) / dw
// 定理 tr(A) = tr(AT)

dz / dw = - XTy - XTy + d( tr{ wTXTXw } ) / dw
// 由前面定理

dz / dw = - XTy - XTy + d( tr{ wIwTXTX } ) / dw
// 定理 tr(AB) = tr(BA)，其中补齐I为单位阵

dz / dw = - XTy - XTy + XTXw + XTXw
// 定理 d( tr{ABATC} ) / dA = CAB + CTABT
// 其中A = w，B = I，C = XTX

dz / dw = -2XTy + 2XTXw = 2XT(Xw - y)
// 合并