简单线性回归算法

一 线性回归算法特点

1. 解决回归问题
2. 思想简单，实现容易
3. 许多强大的非线性模型的基础
4. 结果具有很好的可解释性
5. 蕴含机器学习中的很多重要思想

二 简单线性回归算法

寻找一条直线，最大程度的“拟合”样本特征和样本输出标记之间的关系
样本特征只有一个，成为简单线性回归

接下来，就是想使预测值与真值之间的差值越小，一般都会想到两种方式，相减，但假若a样本预测的差值为正100，b样本预测的差值为-100，那相加就为0，却不能说直线完全拟合样本。
当然也可以用绝对值，但用绝对值计算很不方便，所以采用如下的方式：
用二者之差的平方来预估

而这目标思路也就是非常典型的机器学习算法的基本思路，接下来再给出张PPT图解：

我们优化的思路就是使得损失函数尽可能的小，效用函数尽可能的大。
机器学习算法非为参数学习算法和非参数学习算法，所谓参数学习算法就是我们需要创建一个模型，而机器学习的任务就是要学习这些模型的参数，而此时我们就是需要找到最合适的参数，使得我们可以最优化损失函数和效用函数，几乎所有参数学习算法都是这样的思路。
回归到简单的线性回归算法，最优化的思路也就是典型的最小二乘法问题：最小化误差的平方