![在这里插入图片描述](https://i-blog.csdnimg.cn/blog_migrate/e0ae22766a79a9e9936ed2890e0a72fc.png)
1.1 线性回归
1)单变量线性回归
2)最二乘和梯度下降
3)多变量线性回归
*4)多变量多项式回归
![在这里插入图片描述](https://i-blog.csdnimg.cn/blog_migrate/5047a66a8ebd5addf91edeffa0d365b9.png)
数据案例
![在这里插入图片描述](https://i-blog.csdnimg.cn/blog_migrate/91c9d8f4211c6cc01a60b6095f96b264.png)
线性回归
![在这里插入图片描述](https://i-blog.csdnimg.cn/blog_migrate/218ab92870bb635755441e3504f57635.png)
求解目标:找到θ1,θ2
个人理解:利用均方误差代替损失函数,用平方损失代替风险R,又因为误差有正有负,所以要用平方消去符号
![在这里插入图片描述](https://i-blog.csdnimg.cn/blog_migrate/d01c2fef1ddcb6cf138e1cea79b9fe8f.png)
在求解θ1,θ2 过程中,采用梯度下降方法,随机梯度下降
梯度下降有三种方法,随机梯度下降,小批量梯度下降,
*下图描绘的是损失函数,不是原函数
碗装函数,为凸函数 有全局最低点
![在这里插入图片描述](https://i-blog.csdnimg.cn/blog_migrate/1135e0759f898c7acbddaab6e3cc413c.png)
梯度下降原理 理论,现实里:无法保证找到的是最好的点(全局最小值),一般为局部最小值
![在这里插入图片描述](https://i-blog.csdnimg.cn/blog_migrate/28e2d306aab443b0652cd395b85b043f.png)
理解梯度 偏微分理解 向下最快的方向叫梯度
![在这里插入图片描述](https://i-blog.csdnimg.cn/blog_migrate/007289cb0b2e815d1e3f03f0062b9ae6.png)
![在这里插入图片描述](https://i-blog.csdnimg.cn/blog_migrate/d2c91449ff7c49f8b554ed984da5d56c.png)