Lloyd-Max条件、DPCM系统最佳预测系数推导以及最小二乘：梯度下降、牛顿法、高斯牛顿法总结

1.Lloyd-Max条件推导

2.DPCM系统最佳预测系数推导

3.最小二乘：梯度下降、牛顿法、高斯牛顿法总结

3.1 梯度下降

在知乎上找到了通俗易懂的解释：

1.梯度下降:两个意思——1.根据梯度(导数) 的符号来判断最小值点x在哪;2.让函数值下降 (变小)。
2.梯度就是导数(对于多维就是偏导数)
3梯度下降作用是找到函数的最小值所对应的自变量的值(曲线最低点对应x的值)。记住我们目的是为了找x.

实现步骤：

3.2 牛顿法

牛顿法的原理是使用函数f(x)的泰勒展开式的前面几项来寻找方程f(y)=0的根。
将函数f(x)在x0处泰勒展开，取其线性部分，作为 f(x)的近似，则可用 f(x0)+f′(x0)(x−x0)=0的解来近似 f(x)=0的解，其解为 x1=x0−f(x