DPCM和最小二乘法

DPCM线性预测器设计

最小二乘法

https://zhuanlan.zhihu.com/p/113946848
https://zh.wikipedia.org/wiki/最小二乘法
http://blog.sciencenet.cn/home.php?mod=space&uid=3413658&do=blog&id=1177114
https://zhuanlan.zhihu.com/p/42522867
http://www.chenjianqu.com/show-85.html

梯度下降法

牛顿法

高斯牛顿法

对比牛顿法中H∆x=-J，高斯牛顿法用J(x)JT(x)作为牛顿法中Hessian矩阵的近似，从而省略了H的计算。求解高斯牛顿方程是整个优化问题的核心所在，如果能解出该方程，则高斯牛顿法的步骤如下：

为了求解增量方程，需要解出H-1，这需要H矩阵可逆。但是实际上H只有半正定，也就是H可能会是奇异矩阵的情况，此时增量的稳定性较差，导致算法不收敛。就算H非奇异也非病态，但是如果求出来的步长∆x太大，也无法保证能迭代收敛。