回归
对于一组特征数据和其标记值(x1, y1), (x2, y2), ……, (xi, yi)。
假设x表示房间个数, y表示价格。用特征值个数来对价格进行预测,此时价格是连续的,可以是2w,也可以是2.11w。
假设x表示价格,y表示房间个数。用价格来预测可以带几个房间的房子,此时房间个数是离散的,你只能买1个,2个,但是你无法买1.2个房间。
通常y是连续的,则称为回归;如果y是离散的,则称为分类。
线性回归
假如x轴表示房间个数,y表示价格。你需要找出一条尽量包含很多样本点的直线,你可以画出很多条,像图中的1或者2.
y = kx + b;(k和b就是参数)
那么如何来判定,哪条直线更好呢(k和b最优)?
损失函数
度量单样本预测的错误程度,损失函数值越小,模型就越好。错误程度就是样本点距离预测直线的距离,简单来说就是哪条曲线预测的房价更能贴近真实的房价。
问题到这里,就演化成寻找最小的损失函数值,哪种损失函数值越小哪种模型(哪种直线)就越好。
寻找最小的损失函数值
1、梯度下降法
可以简单的看为图上的一元二次曲线,寻找最低的那点o,怎么才能找到o呢?先从图上取一点a,然后沿着负梯度的方向迭代(简单说就是沿着斜率绝对值下降的方向移动),例如a -> b ->c,最后无限趋向于o。
其中a向b移动中的横向距离称为步长。步长如果过大,可能直接跨过o点,无法收敛。
2、最小二乘法
3、牛顿法
4、拟牛顿法