线性回归的损失函数及梯度下降

线性回归

回归就是输出是连续的函数，那么线性回归就是输出是直线的连续函数。也就是我们数学中所说的一次函数。

Y = θ1X+θ0

在这个函数里有两个参数：θ1和θ0。θ1是斜率，θ2是截距。想下边这个房价与面积关系图片

我们会在大脑中把这些点组合起来，大致是一条过原点的直线，则可以写为

Y = 0.8X

对应到线性回归公式中，θ1为0.8，θ0为0。
那怎么判断这个回归是否准确？则要引入另一个函数：

损失函数

它的意思是，真实值与预测值差的平方的均值除以二。
当损失函数的值越小，我们的线性回归也就越准确。在公式中不太好判断什么时候较小，我们拿一个例子说一下：

左边是x、y的原始数据图像，我们可以拟合一个回归函数来反应x与y之间的关系；右边是损失函数与θ1的关系函数。在右边图像中就可以非常直观的反应损失函数