机器学习笔记(第三章)

机器学习（周志华著） Datawhale打卡第二天

第三章

一些重要公式和结论的推导

• 多维最小二乘法的解

设均方误差$E_{\hat{\omega }}=(y-X\hat{\omega }{)}^T(y-X\hat{\omega })$,其中$\hat{\omega }=(\begin{array}{c}\omega \\ b\end{array})$

$E_{\hat{\omega }}=(y^T-{\hat{\omega }}^T{X}^T)(y-X\hat{\omega })$

$=y^{T}y-{\hat{\omega }}^T{X}^{T}y-y^{T}X\hat{\omega }+{\hat{\omega }}^T{X}^{T}X\hat{\omega }$

求偏导数$\frac{\partial E_{\hat{\omega }}}{\partial \hat{\omega }}=-X^{T}y-X^{T}y+2X^{T}X\hat{\omega }=2X^T(X\hat{\omega }-y)$

当$X^{T}X$是半正定矩阵时，问题$min{E}_{\hat{\omega }}$为凸优化，此时可令$\frac{\partial E_{\hat{\omega }}}{\partial \hat{\omega }}=0$得到最优解

此时，当$X^{T}X$是可逆矩阵，可得${\hat{\omega }}^{\ast }=(X^{T}X{)}^{-1}{X}^{T}y$

• 一些用到的矩阵与向量求导法

$\frac{\partial a^{T}x}{\partial x}=a$，$\frac{\partial x^{T}a}{\partial x}=a$

$\frac{\partial x^{T}ax}{x}=2ax$

• 向量投影

对于投影方向$w$，$x$在$w$方向上的投影为：$w^{T}x$或者$x^{T}w$

举例:

$设w方向上有向量\hat{w}=(4,4{)}^T,x=(1.2,2{)}^T$

$那么{\hat{w}}^{T}x=x^T\hat{w}=12.8$

$$\begin{gathered} 此时计算x在\hat{w}向量上的投影向量为\hat{x}=((\sqrt{1.2^2+2^2}\ast (cos(ta{n}^{-1}(\frac{2}{1.2})-45))\ast cos45, \\ (\sqrt{1.2^2+2^2}\ast (cos(ta{n}^{-1}(\frac{2}{1.2})-45))\ast sin45{)}^T=(1.6,1.6{)}^T \end{gathered}$$

$|\hat{x}|=\frac{8\sqrt{2}}{5}\approx 2.2627$

$则x在\hat{w}方向上的投影为|\hat{x}||\hat{w}|=12.8=x^T\hat{w}={\hat{w}}^{T}x$

$如此推广到w方向上，可得到上述命题$

• 未完待补充。。。