简单线性回归
基本概念
分类(Classification),即label为离散的类别型(categorical variable),如:颜色类别、手机品牌、是否患病等。
回归(regression),即label为连续数值型(continuous numerical variable),如:房价、股票价格、降雨量等。
简单线性回归,只有一个样本特征,即只有一个自变量;方程是线性的;回归是指用方程来模拟变量之间是如何关联的。
简单线性回归,其思想简单,实现容易。同时也是许多强大的非线性模型(多项式回归、逻辑回归、SVM)的基础。并且其结果具有很好的可解释性。
#####损失函数
建模过程,就是找到一个模型最大程度的拟合我们的数据。 在简单线回归问题中,模型就是我们的直线方程:y = ax + b 。
要想最大的拟合数据,本质上就是找到没有拟合的部分,也就是损失的部分尽量小,就是损失函数(loss function)(也有算法是衡量拟合的程度,称函数为效用函数(utility function)):
推导思路为:
1.通过分析问题,确定问题的损失函数或者效用函数;
2.然后通过最优化损失函数或者效用函数,获得机器学习的模型