线性回归
线性回归(Linear Regreesion)就是对一些点组成的样本进行线性拟合,得到一个最佳的拟合直线。
最小二乘法
线性回归的一种常用方法是最小二乘法,它通过最小化误差的平方和寻找数据的最佳函数匹配。
代数推导
假设拟合函数为 y = a x + b y=ax+b y=ax+b,对于任意样本点 ( x i , y i ) (x_{i},y_{i}) (xi,yi),误差为 e = y i − ( a x i + b ) e=y_{i}-(ax_{i}+b) e=yi−(axi+b)。当损失函数 L = ∑ i = 1 n e i 2 L=\sum_{i=1}^{n}{e_{i}}^2 L=∑i=1nei2为最小时拟合度最好,即 ∑ i = 1 n ( y i − a x i − b ) 2 \sum_{i=1}^{n}(y_{i}-ax_{i}-b)^2 ∑i=1n