机器学习小组-线性回归

简单线性回归

基本概念

分类(Classification)，即label为离散的类别型(categorical variable)，如：颜色类别、手机品牌、是否患病等。
回归(regression)，即label为连续数值型(continuous numerical variable)，如：房价、股票价格、降雨量等。
简单线性回归，只有一个样本特征，即只有一个自变量；方程是线性的；回归是指用方程来模拟变量之间是如何关联的。
简单线性回归，其思想简单，实现容易。同时也是许多强大的非线性模型（多项式回归、逻辑回归、SVM）的基础。并且其结果具有很好的可解释性。

#####损失函数
建模过程，就是找到一个模型最大程度的拟合我们的数据。 在简单线回归问题中，模型就是我们的直线方程：y = ax + b 。
要想最大的拟合数据，本质上就是找到没有拟合的部分，也就是损失的部分尽量小，就是损失函数（loss function）（也有算法是衡量拟合的程度，称函数为效用函数（utility function））：

推导思路为：
1.通过分析问题，确定问题的损失函数或者效用函数；
2.然后通过最优化损失函数或者效用函数，获得机器学习的模型

最小二乘法

对于测量值来说，