西瓜书上的线性回归

先假设一个实体$X_1$有两个属性$x_1,x_2$

拟合平面为：$h_{\theta }(x)={\theta }_0+{\theta }_1{x}_1+{\theta }_2{x}_2$,这在三维空间中是一个平面随着属性的增多就会变成多为空间的超平面

这里的${\theta }_0$代表了西瓜书上的常数项$b$

因为机器学习中所有的计算都是矩阵的计算所以关于$X$的举证会变多加一列1的增广矩阵
$$\left[\begin{array}{cccc}1& x_{11}& x_{12}& ...\\ 1& x_{21}& x_{22}& ...\\ 1& x_{31}& x_{32}& ...\\ 1& x_{41}& x_{42}& ...\end{array}\right]$$
这样就可以写成整合的式子$h_{\theta }(x)=\sum _{i=1}^n{\theta }_i{x}_i$这里$h_{\theta }(x)$是预测值

这样所有样本值则有方程$y^{(i)}={\theta }^T{x}^{(i)}+{ϵ}^{(i)}$

这个$ϵ$为误差项，根据大数定律和为了使用最大似然估计它需符合高斯分布，在实际应用中它要尽可能接近高斯分布，还有因为每个个体都是独立同分布的,因为它符合高斯分布有

$p({ϵ}^{(i)})=\frac{1}{\sqrt{2\pi }\sigma }exp(-\frac{({ϵ}^{(i)}{)}^2}{2{\sigma }^2})$

${ϵ}^{(i)}=$$y^{(i)}-{\theta }^T{x}^{(i)}$

的$p(y^{(i)}|x^{(i)};\theta )=\frac{1}{\sqrt{2\pi }\sigma }exp(-\frac{(y^{(i)}-{\theta }^T{x}^{(i)}{)}^2}{2{\sigma }^2})$

似然函数$L(\theta )=\prod _{i=1}^{n}p(y^{(i)}|x^{(i)};\theta )=\prod _{i=1}^n\frac{1}{\sqrt{2\pi }\sigma }exp(-\frac{(y^{(i)}-{\theta }^T{x}^{(i)}{)}^2}{2{\sigma }^2})$

因为我们要求的是极值点$\theta$而不是极大值，这个似然函数的意思是$\theta$与$x$确定之后$y^{(i)}$的概率

所以可以用对数这样就可以把连乘变为连加

对数似然$logL(\theta )=log\prod _{i=1}^n\frac{1}{\sqrt{2\pi }\sigma }exp(-\frac{(y^{(i)}-{\theta }^T{x}^{(i)}{)}^2}{2{\sigma }^2})$

展开化简$\sum _{i=1}^{n}log\frac{1}{\sqrt{2\pi }\sigma }exp(-\frac{(y^{(i)}-{\theta }^T{x}^{(i)}{)}^2}{2{\sigma }^2})$

=$mlog\frac{1}{\sqrt{2\pi }\sigma }-\frac{1}{{\sigma }^2}\cdot \frac{1}{2}\sum _{i=1}^n(y^{(i)}-{\theta }^T{x}^{(i)}{)}^2$

这就是对数似然函数，这个函数值越大越好，出了一些确定的值之外就有了最小二乘法,这就是最小二乘法的由来前面的1/2和平方是这么来的，这个最小二乘函数越小越好

$J(\theta )=\frac{1}{2}\sum _{i=1}^n(y^{(i)}-{\theta }^T{x}^{(i)}{)}^2$

$J(\theta )=\frac{1}{2}\sum _{i=1}^n(y^{(i)}-{\theta }^T{x}^{(i)}{)}^2=\frac{1}{2}(y-X\theta {)}^T(y-X\theta )$

对$\theta$求偏导$\frac{\partial J}{\partial \theta }=X^{T}X\theta -X^{T}y$这边计算比较复杂跳过

令偏导为0则有$\theta =(X^{T}X{)}^{-1}{X}^{T}y$