传统机器学习模型解说01：一元线性回归模型

引入

年薪和工作年限有关吗？

可见两个变量之间存在明显的线性关系，而根据常识，工作年限是因，年薪是果。
那么，是否存在某个模型，如图中的一次函数直线，来描述两个变量之间的关系呢？

原理简述与背景介绍

一元线性回归模型也被称为简单线性回归模型，指模型中只有一个自变量和一个因变量。
其原理可以简述为：用一个（二维中的）直线（以及高维中的超平面）去最大程度地拟合样本特征和样本输出标记（即数据点）之间的关系。
一元线性回归思想简单，但背后有强大的数学理论支持，具有很好的可解释性，是许多强大的非线性模型的基础。

算法推导

基本设定

给定数据集 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , ⋯   , ( x N , y N ) } T=\left\{\left(x_{1}, y_{1}\right),\left(x_{2}, y_{2}\right), \cdots,\left(x_{N}, y_{N}\right)\right\} T={ (x1​,y1​),(x2​,y2​),⋯,(xN​,yN​)}其中$x_i\in \mathcal{X}\subseteq \mathbb{R}$，$y_i\in \mathcal{Y}\subseteq \mathbb{R}$，$i=1,2,\cdots ,N$
假设决策函数为$$f(x)=ax+b$$其中$a,b$称为回归系数。
可知第$i$个元素$x_i$的预测值为$$\widehat{y_i}=f(x_i)=a{x}_i+b$$使用平方损失函数作为损失函数：$$L\left(y,f(x)\right)={\left(y-f(x)\right)}^2$$求以下经验风险最小化$$J(a,b)=\sum _{i=1}^N(y_i-\widehat{y_i}{)}^2=\sum _{i=1}^N{\left(y_i-a{x}_i-b\right)}^2$$即目标是求取使目标函数$J$最小的回归系数$a,b$.

参数求解

1. 求解$b$

对$b$求偏导并另令其等于$0$
$$\frac{\partial J(a,b)}{\partial b}=\sum _{i=1}^{N}2(y_i-a{x}_i-b$$