程序员数学——最小二乘法，线性拟合（一）

最新推荐文章于 2022-08-05 15:47:51 发布

星球建造师

最新推荐文章于 2022-08-05 15:47:51 发布

阅读量826

点赞数

分类专栏：嵌入式

本文链接：https://blog.csdn.net/linxing927/article/details/51850296

版权

嵌入式专栏收录该内容

18 篇文章 0 订阅

订阅专栏

1.在工程中经常会遇到这种问题，通过AD采集获得一组电压（电流）数据x₀, x₁, x₂, …, x_n，这些电压数据所对应的物理数据为y₀, y₁, y₂, …, y_n，即有如下对应关系

(x₀,y₀)

(x₁,y₁)

(x₂,y₂)

(x_n,y_n)

如何通过对这组已知数据的拟合，以得到其它点电压（电流）所对应的物理数据。

比如如何拟合下面这组数据

电压（mv）	流量（ml/min）
78.60	0.00
131.50	10.00
153.40	25.10
228.20	50.10
378.30	100.20
525.60	150.30
671.50	200.40
814.70	250.50
1567.20	501.00

2.概念

我们先说明几个相关概念

残差:拟合值与物理值差的平方和

$s= \sum_{i = 0}^{n}(y_i-yy_i )^2$

导数:在无限趋近0，即x+无限趋近于x时，如下极限存在，即为该点的导数，亦是该点斜率

$d=\lim_{\Delta x\rightarrow 0}\frac{x+\Delta x}{\Delta x}$

偏导数

设有函数关系y = f(x₀, x₁, x₂, …, x_n)，将除了x_i（i ∈（1， n））以外变量视为常数，对x_i进行求导，即为x_i的偏导数，记为

$\frac{\partial y}{\partial x_{i}} = \lim_{\Delta x_{i}\rightarrow 0}\frac{f(x_{0},x_{1},x_{i}+\Delta x_{i}, ..., x^{n}))}{\Delta x_{i}}$

极大值、极小值

对如上曲线研究可知，极大值、极小值只有可能出现在导数为0的位置，一般而言，极值点（极大值或极小值）只有可能出现在导数为0的位置、或边界点

即

$d = \lim_{\Delta x_{i}\rightarrow 0}\frac{x + \Delta x}{\Delta x} = 0$

如果是多元函数关系y = f(x₀,x₁, x₂, …, x_n)，极值点为全部偏导数为0的点(x₀,x₁, x₂, …, x_n)，即

$\frac{\partial y}{\partial x_{i}} = \lim_{\Delta x_{i}\rightarrow 0}\frac{f(x_{0},x_{1},x_{i}+\Delta x_{i}, ..., x_{n})}{\Delta x_{i}}$ (i ∈(0, n))

3.线性拟合

回到刚才的例子，我们通过对那些点的观察可知，他们非常接近于一条直线，因此我们用y = k * x + b进行拟合，本文所题的问题即化为求k、b的问题

我们用“残差”来说明拟合的效果，残差越小说明拟合越好为了使残差最小，即求得参差的极小值

$s_{min} = \sum_{i=0}^{n}(y_{i}-yy_{i})^{2}$

我们将y_i用y = k * x + b（x为电压或电流值），yy_i为对应物理值(如流量)，带入残差表达式

$s = \sum_{i=0}^{n}(k * x_{i} + b - yy_{i})^{2}$

为求s最小值，根据极大值极小值原理，s最小只有s的所有偏导数同时为0，

即

$\frac{\partial s}{\partial k} = 2 * \sum_{i=0}^{n}(k * x_{i} + b - yy_{i})* x_{i} = 0$ (1)

$\frac{\partial s}{\partial b} = 2 * \sum_{i=0}^{n}(k * x_{i} + b - yy_{i}) = 0$ (2)

(1) 式化简得

$k * \sum_{i=0}^{n} x_{i}^{2} + b * \sum_{i=0}^{n} x_{i} = \sum_{i=0}^{n} (yy_{i} * x_{i})$ (3)

(2) 式化简得

$k * \sum_{i=0}^{n} x_{i} + b * (n + 1) = \sum_{i=0}^{n} yy_{i}$ (4)

联立(3)和(4)，即可求得k，b值。

对于本文所举的例子，可求得k = 0.3388 b = -28.2

4.二阶拟合

如果发现所采集的数据符合y = a * x² + b * x + c，我们同样可导出a，b，c的表达式，它所对应的残差表达式为

$s = \sum_{i=0}^{n}(a * x_{i}^{2} + b * x_{i} + c - yy_{i})^{2}$

对a，b，c分别求偏导数

$\frac{\partial s}{\partial a} = 2 * \sum_{i=0}^{n}(a * x_{i}^{2} + b * x_{i} + c - yy_{i}) * x_{i}^{2} = 0$ (1)

$\frac{\partial s}{\partial b} = 2 * \sum_{i=0}^{n}(a * x_{i}^{2} + b * x_{i} + c - yy_{i}) * x_{i} = 0$ (2)

$\frac{\partial s}{\partial c} = 2 * \sum_{i=0}^{n}(a * x_{i}^{2} + b * x_{i} + c - yy_{i}) = 0$ (3)

对(1)、(2)、(3)化简得

$a * \sum_{i=0}^{n}x_{i}^{4} + b * \sum_{i=0}^{n}x_{i}^{3} + c * \sum_{i=0}^{n}x_{i}^{2} = \sum_{i=0}^{n}(yy_{i} * x_{i}^{2})$ (4)

$a * \sum_{i=0}^{n}x_{i}^{3} + b * \sum_{i=0}^{n}x_{i}^{2} + c * \sum_{i=0}^{n}x_{i}^{1} = \sum_{i=0}^{n}(yy_{i} * x_{i})$ (5)

$a * \sum_{i=0}^{n}x_{i}^{2} + b * \sum_{i=0}^{n}x_{i} + c * (n + 1) = \sum_{i=0}^{n}yy_{i}$ (6)

联立(4)、(5)、(6)即可求得a、b、c的值

星球建造师

关注

0
点赞
踩
2

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录