一 线性回归算法特点
- 解决回归问题
- 思想简单,实现容易
- 许多强大的非线性模型的基础
- 结果具有很好的可解释性
- 蕴含机器学习中的很多重要思想
二 简单线性回归算法
寻找一条直线,最大程度的“拟合”样本特征和样本输出标记之间的关系
样本特征只有一个,成为简单线性回归
接下来,就是想使预测值与真值之间的差值越小,一般都会想到两种方式,相减,但假若a样本预测的差值为正100,b样本预测的差值为-100,那相加就为0,却不能说直线完全拟合样本。
当然也可以用绝对值,但用绝对值计算很不方便,所以采用如下的方式:
用二者之差的平方来预估
而这目标思路也就是非常典型的机器学习算法的基本思路,接下来再给出张PPT图解:
我们优化的思路就是使得损失函数尽可能的小,效用函数尽可能的大。
机器学习算法非为参数学习算法和非参数学习算法,所谓参数学习算法就是我们需要创建一个模型,而机器学习的任务就是要学习这些模型的参数,而此时我们就是需要找到最合适的参数,使得我们可以最优化损失函数和效用函数,几乎所有参数学习算法都是这样的思路。
回归到简单的线性回归算法,最优化的思路也就是典型的最小二乘法问题:最小化误差的平方