线性回归原理推导

单变量的推导

$\hat{y_{i}}=f\left ( x_{i} \right )=\omega x_{i}+b$
其中损失函数可以是：$L\left ( f\left ( x_{i} \right ) \right )=\left( y_{i} -\hat{y_{i}}\right)^2$,这里的损失函数可以是任意的，什么形式都可以。其中$\hat{y_{i}}$就是通过上式估计出来的估计值 。因为函数$f\left(x_{i}\right)$就是$\omega$和$b$的函数，因为$x_{i}$都是已知的，因此损失函数可以写成$L\left (\omega ,b\right )=\left( y_{i} -\hat{y_{i}}\right)^2$,带入即$L\left (w,b\right )=\left( y_{i} -\left(\omega x_{i}+b\right)\right)^2$,误差最小利用求导可以得到

一般化的推导

现在的变量有n个，已知矩阵数据为$X_{m*n}$

$$X= \left[ \begin{matrix} x_{11} & x_{12} & \cdots & x_{1n} \\ x_{21} & x_{22} & \cdots & x_{2n} \\ \vdots & \vdots & \ddots & \vdots \\ x_{m1} & x_{m2} & \cdots & x_{mn} \\ \end{matrix} \right]$$
标签数据，即真实结果Y为 $Y=\left[ \begin{matrix} y_{1}& y_{2}&y_{3}&\cdots&y_{n}\end{matrix}\right]$
参数矩阵为 $\theta_{n*1}$
$$\theta= \left[ \begin{matrix} \theta_{1} \\ \theta_{2} \\ \cdots \\ \theta_{n} \end{matrix} \right]$$
通过矩阵表示出模型 $h_{\theta}\left(x\right)=X\theta$
损失函数为 $L\left( \theta \right)=\left( X\theta-Y \right)^{2}$
也有人在前面加个系数，主要是为了求导的时候和2省去，即： $L\left( \theta \right)=1/2\left( X\theta-Y \right)^{2}$
最后求导即可，只不过这个地方是矩阵求导。