文章目录
第一章线性回归
1、线性回归问题
目的:令工资为x1,年龄为x2,标签为y即额度,求出θ1和θ2即可求出方程。
2、误差项定义
θ0可以使得求得的线或者平面上浮或下降。
θ0没有x0以至于无法凑成矩阵形式。自己构造x0,里面数据都为1,处理完等于本身。
添加完x0之后,就转化成一种矩阵形式。
y(i)是真实值,而θ和x组成的称之为预测值,预测值和真实值之间的称为误差。
希望误差项越小越好。
3、独立同分布
4、极大似然估计
由于误差服从高斯分布,那个式子里面均值是为0,所以得到第二行的式子。
这个高斯分布是关于误差项的,但是我们要求的是θ,而不是误差,所以转换一下,将一式θx左移,得yi-θxi=误差,而误差满足二式,将其代入后,可得三式。
似然函数不管求L(θ)还是求Log L(θ) ,加个对数是为了方便计算,原来是累乘改成累加,我们要求的是θ,而不是结果值。
我们要求的只和θ有关,其他都是常数项,log这里我们可以假设以e为底,exp就是e指数的意思,以e为底的log(e的x次方)= x
所以上面的直接落下来。
5、梯度下降
可以比作是下山问题,首先确定方向,比如下图这个黑点一开始演虚线箭头方向。接下来确定走的步伐,不能走太大,沿此方向走太大,直接摔悬崖了,走完再确定方向,再走。