线性回归与最小二乘

---

前言

线性回归: 一个自变量和一个因变量,两者之间的关系可以用一条直线近似表示,这种回归被称为简单线性回归

---

提示：以下是本篇文章正文内容，下面案例可供参考

一、线性回归

例如:小假想开一家超市, 前期需要做市场调研.
$$\$=收入-成本$$

场地	人流量(千人)	收入(千元)
1	2	12
2	5	31
…	…	…

问题公式化:
设人流量为自变量x,收入为因变量y; 找到该问题的线性方程. 预测下一阶段的数据.

问题是:如何得到这个线性方程呢?

二、最小二乘法

最小二乘就是用来估计 y=kx+b 这条直线的

$$\sum _i(实际值-估计值{)}^2$$

场地	人流量(千人) ~x表示	收入(千元)~y表示	估计的收入 ~$$\hat{y}$$表示
1	2	$$y_1$$	$${\hat{y}}_1$$
2	5	$$y_2$$	$${\hat{y}}_2$$
…	…	…	…

$$(y_1-{\hat{y}}_1{)}^2+(y_2-{\hat{y}}_2)+...$$
$$\begin{gathered} \min \sum _i(y_i-{\hat{y}}_i{)}^2 \\ \{\begin{array}{ll}大& \to 估计和真实数据差距大\\ 小& \to 估计和真实数据差距小\\ 0& \to 估计和真实数据相同\end{array} \end{gathered}$$
问题: 如何求解 最小二乘法?
$$\{\begin{array}{ll}1-公式& \\ 2-工具& sklearn,spark等\end{array}$$

公式推导:
$$\begin{gathered} L(w,b)=\sum _{n=1}^N(y_n-f(x{)}_n{)}^2 \\ f(x)=kx+b带入上式有 \end{gathered}$$
$$\begin{gathered} (k^{\ast },b^{\ast })={\arg }_{k,b}\min \sum _{n=1}^N(y_n-k{x}_n-b{)}^2就是要求出最优参数k^{\ast }和b^{\ast } \\ 1丶对w求偏导:\frac{\delta L(k,b)}{\delta k}=2\sum _{n=1}^N\{(y_n-b)x_n-k{x}_n{x}_n\}=0\to 解得:k=\sum _{n=1}^N\frac{(y_n-b)x_n}{x_n^2} \\ 2丶对b求偏导:\frac{\delta L(k,b)}{\delta b}=2\sum _{n=1}^N(y_n-k{x}_n-b)(-1)=0\to 解得:b=\sum _{n=1}^N(y_n-k{x}_n) \\ 联立上式即可解出最优参数k^{\ast }和b^{\ast } \end{gathered}$$

参考

1 丶最小二乘与线性回归-b站:
2丶机器学习 简单线性回归与最小二乘