DPCM线性预测器设计的部分推导和最小二乘法的总结

一、推导DPCM预测器确定最佳预测系数的过程
课上讲解原理如下

其具体推导过程如下图，图中做了部分计算并给出证明：
二、最小二乘法的总结
最小二乘法（又称最小平方法）是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法还可用于曲线拟合。其他一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达。
1.一元线性回归模型
对于一元线性回归模型, 假设从总体中获取了n组观察值（X1，Y1），（X2，Y2）， …，（Xn，Yn）。对于平面中的这n个点，可以使用无数条曲线来拟合。要求样本回归函数尽可能好地拟合这组值。综合起来看，这条直线处于样本数据的中心位置最合理。 选择最佳拟合曲线的标准可以确定为：使总的拟合误差（即总残差）达到最小。有以下三个标准可以选择：
（1）用“残差和最小”确定直线位置是一个途径。但很快发现计算“残差和”存在相互抵消的问题。
（2）用“残差绝对值和最小”确定直线位置也是一个途径。但绝对值的计算比较麻烦。
（3）最小二乘法的原则是以“残差平方和最小”确定直线位置。用最小二乘法除了计算比较方便外，得到的估计量还具有优良特性。这种方法对异常值非常敏感。
最常用的是普通最小二乘法（ Ordinary Least Square，OLS）：所选择的回归模型应该使所有观察值的残差平方和达到最小。（Q为残差平方和）- 即采用平方损失函数。
样本回归模型：

其中ei为样本（Xi,Yi）的误差。
平方损失函数：

则通过Q最小确定这条直线，即确定β0和β1，把它们看作是Q的函数，就变成了一个求极值的问题，可以通过求导数得到。求Q对两个待估参数的偏导数：

根据数学知识我们知道，函数的极值点为偏导为0的点。
解得：

这就是最小二乘法的解法，就是求得平方损失函数的极值点。

2.牛顿法
牛顿法又称为牛顿-拉夫逊方法，它是牛顿在17世纪提出的一种在实数域和复数域上近似求解方程的方法。
由于实际的应用中多数方程不存在求根公式，因此求精确根非常困难，甚至不可能，从而寻找方程的近似根就显得特别重要。本方法使用函数f(x)的泰勒级数的前面几项来寻找方程f(x)=0的根。
主要方法如下：
首先：将函数 f(x)在f(x)=0 处展开成泰勒级数:

取其线性部分，作为 f(x)的近似，则可用 f(x0)+f’(x0)*(x-x0)=0的解来近似求解f(x)=0的解
解得结果为：

由于对 f(x)的近似只是一阶展开，因此x1并非f(x)=0的解，只能说 f(x1)比f(x0) 更接近0。于是，考虑迭代求解：

若求解最优化问题，则：
根据极小点的必要条件f(x)梯度为0，可知：

注：牛顿法来解决问题时，对于非二次函数，如果函数的二次性态比较强，那么牛顿法计算非常有优势。但是同时牛顿法解决问题也存在他的弊端，因为它的每一次迭代都需要计算海瑟矩阵的逆矩阵，且这一步的计算很复杂。

3.高斯牛顿法
高斯一牛顿迭代法(Gauss-Newton iteration method)是非线性回归模型中求回归参数进行最小二乘的一种迭代方法，该法使用泰勒级数展开式去近似地代替非线性回归模型，然后通过多次迭代，多次修正回归系数，使回归系数不断逼近非线性回归模型的最佳回归系数，最后使原模型的残差平方和达到最小。
其直观思想是先选取一个参数向量的参数值β，若函数ft(Xt，β)在β0附近有连续二阶偏导数，则在β0的邻域内可近似地将ft(Xt，β)看作是线性，因而可近似地用线性最小二乘法求解。
高斯牛顿法的基本步骤：
(1) 选择初始值：可以直接选取初始值，也可以采用分段法，或者也可以使用可线性化的非线性回归模型，通过线性变换，然后施行最小平方法求出初始值。
(2)对已知f(x+deltax)进行一阶泰勒展开：

此时就需要求deltax的值使得下式存在最小值

故我们可以得到最小二乘问题为：

为了求极值，对其求导：

对其求导可以得到：

此时可以转化为线性求解问题：

从而即可实现最优化的求解。
高斯牛顿法相较于牛顿法，避免了求解海瑟矩阵，大大降低了运算量，但是也有其缺点，即：容易和梯度下降法一样，陷入锯齿状，导致迭代次数较长且如果求出来的步太大，会导致其局部近似不精确，严重的时候，可能无法保证迭代收敛。