正则化最小二乘法——神经网络与机器学习笔记2

参考Andrew Ng 公开课的推导

一些公式

$trA=\sum_{i=1}^nA_{ii}$
$trAB=trBA$
$trABC=trCBA=trBCA$
$trA=trA^T$
if $a\in R$, $tra=a$
$\nabla_AtrAB=B^T$
$\nabla_AtrABA^TC=CAB+C^TAB^T$
$\nabla_\theta J=\begin{bmatrix}{\frac{\partial J}{\partial \theta_0 }}\\{\frac{\partial J}{\partial \theta_1 }}\\{\vdots}\\{\frac{\partial J}{\partial \theta_n }}\end{bmatrix}$
∇Af(A)=⎡⎣⎢⎢⎢⎢