机器学习-期末复习

---

第一章线性回归

1、线性回归问题

目的：令工资为x1，年龄为x2，标签为y即额度，求出θ1和θ2即可求出方程。

2、误差项定义

θ0可以使得求得的线或者平面上浮或下降。
θ0没有x0以至于无法凑成矩阵形式。自己构造x0，里面数据都为1，处理完等于本身。

添加完x0之后，就转化成一种矩阵形式。
y（i）是真实值，而θ和x组成的称之为预测值，预测值和真实值之间的称为误差。
希望误差项越小越好。

3、独立同分布

4、极大似然估计

由于误差服从高斯分布，那个式子里面均值是为0，所以得到第二行的式子。
这个高斯分布是关于误差项的，但是我们要求的是θ，而不是误差，所以转换一下，将一式θx左移，得yi-θxi=误差，而误差满足二式，将其代入后，可得三式。

似然函数不管求L（θ）还是求Log L(θ) ，加个对数是为了方便计算，原来是累乘改成累加，我们要求的是θ，而不是结果值。

我们要求的只和θ有关，其他都是常数项，log这里我们可以假设以e为底，exp就是e指数的意思，以e为底的log（e的x次方）= x
所以上面的直接落下来。

5、梯度下降

可以比作是下山问题，首先确定方向，比如下图这个黑点一开始演虚线箭头方向。接下来确定走的步伐，不能走太大，沿此方向走太大，直接摔悬崖了，走完再确定方向，再走。