连续到离散——从最佳平方逼近到最小二乘拟合

作家细胞才是黄金细胞

已于 2022-12-14 20:38:20 修改

阅读量829

点赞数 2

分类专栏：课程学习文章标签：算法抽象代数矩阵线性代数最小二乘法

于 2022-12-14 20:37:41 首次发布

本文链接：https://blog.csdn.net/qq_46404495/article/details/128313143

版权

课程学习专栏收录该内容

6 篇文章 0 订阅

订阅专栏

最近期末考试在学习函数逼近章节，有了一些想法和感悟，记录一下。

不论述完整内容，仅表达一些问题看法和思考角度。

基本知识：

①函数逼近是用一个S(x)=f(x)，好了那就找这个S(x)，采用二范数的逼近方式：

如果f(x)为连续函数，则称为最佳平方逼近；f(x)为离散函数，则称为最小二乘拟合；

最佳平方逼近求积，最小二乘拟合求和。

②在线性代数中，一组线性无关的向量可以构成一组正交基，并张成一个线性空间。

1、首先，我们用一组线性无关的基(basis)张成一个线性空间， $\varphi _{0}(x),\varphi _{1}(x),..., \varphi _{n}(x)$ 记为一组线性无关基，张成的空间记为：

$\phi =span\left \{ \varphi _{0},\varphi _{1},...,\varphi _{n} \right \}$

那么再寻找空间中的一组线性无关基的系数，就构成了我们要找的最佳平方逼近函数 $S^{*}\left ( x \right )\in \phi$ ，带*表示逼近嘛，近似相等。

所以我们构建的函数表达式如下(基前面带上线性无关向量的系数)：

$S\left ( x \right )=a_{0}\varphi _{0}\left ( x \right )+a_{1}\varphi _{1}\left ( x \right )+...+a_{n}\varphi _{n}\left ( x \right )=\sum _{j=0}^{n}a_{j}\varphi _{j}\left ( x \right )$

2、然后，根据最佳平方逼近二范数的格式：

$\left \| f\left ( x \right ) -S^{*}\left ( x \right )\right \|_{2}^{2}=min_{S\left ( x \right )\in \phi }\left \| f\left ( x \right ) -S\left ( x \right )\right \|_{2}^{2}$

带个权函数吧：

$\left \| f\left ( x \right ) -S\left ( x \right )\right \|_{2}^{2}=\int_{a}^{b}\rho \left ( x \right )\left ( f\left ( x \right )-S\left ( x \right ) \right )^{2}dx=\int_{a}^{b}\rho \left ( x \right )\left ( f\left ( x \right )-\sum _{j=0}^{n}a_{j}\varphi _{j}\left ( x \right ) \right )^{2}dx$

上述公式 $S\left ( x \right )$ 的基我们是已知的(这个基函数很有意思，后面讲)，只要求出基前面的系数就好了，那我们求偏导，扔掉无关的权函数，求偏导得到的系数2也可以扔掉，就得到了：

$I\left ( a_{0}, a_{1},..., a_{n} \right )=\int_{a}^{b}\rho \left ( x \right )\left ( f\left ( x \right )-\sum _{j=0}^{n}a_{j}\varphi _{j}\left ( x \right ) \right )^{2}dx\$

$\Rightarrow \frac{\partial I}{\partial a_{k}}=0,k=0,1,...,n$

$\Rightarrow \left ( f\left ( x \right )-\sum _{j=0}^{n} a_{j}\varphi _{j}\left ( x \right )\right )\varphi _{k}\left ( x \right )dx=0$

$\Rightarrow \sum _{j=0}^{n}a_{j}\left ( \varphi _{k},\varphi _{j} \right )=\left ( \varphi _{k},f \right ),k=0,1,...,n$

3、把上述得到的式子展开就是我们熟知的法方程组了。

总而言之，求最佳平方逼近函数就是在求构成线性空间的一组线性无关正交基的系数啊！

最小二乘拟合：把连续函数 $f\left ( x \right )$ 换成离散点 $y_{i}$ ，权函数 $\rho \left ( x \right )$ 换为权系数 $\omega _{i}$ ，得到：

$\sum _{i=0}^{m}\omega _{i}\left [ S^{*}\left ( x_{i} \right )-y_{i} \right ]^{2}=min_{S\left ( x \right )}\epsilon \phi \sum _{i=0}^{m}\omega _{i}\left [ S\left ( x_{i} \right )-y_{i} \right ]^{2}$

仍然用法方程求解基的系数。其实质就是连续变离散，求积变求和。

关于基函数，一般用 $\phi$ 表示。

如果用 $P\left ( x \right )$ 做基函数就是勒让德(Legendre)最佳平方逼近。Legendre最佳平方逼近好的点是他的 $\left ( P_{k},P_{k} \right )=\frac{2k+1}{2}$ 给算完了，所以只算一个 $\left ( P_{k},f \right )$ 即可；
如果用 $T\left ( x \right )$ 做基函数，权函数 $\rho \left ( x \right )=\frac{1}{\sqrt{1-x^{2}}}$ 就是Chebyshev极数；
……