数据压缩第九次作业

总结最小二乘法、梯度下降、牛顿法、高斯牛顿法

线性预测器最佳预测系数

最小二乘法

原理

在我们研究两个变量（x,y）之间的相互关系时，通常可以得到一系列成对的数据（x1,y1.x2,y2… xm,ym）；将这些数据描绘在x -y直角坐标系中，若发现这些点在一条直线附近，可以令这条直线方程如（式1-1）。 （式1-1）
其中：a0、a1 是任意实数
为建立这直线方程就要确定a0和a1，应用《最小二乘法原理》，将实测值Yi与利用计算值Yj（Yj=a0+a1Xi）（式1-1）的离差（Yi-Yj）的平方和 最小为“优化判据”。
令：φ = （式1-2)
把（式1-1）代入（式1-2）中得：
φ = （式1-3)
当 最小时，可用函数 φ 对a0、a1求偏导数，令这两个偏导数等于零。
∑2(a0 + a1Xi - Yi）=0（式1-4)
∑2Xi（a0 +a1Xi - Yi）=0（式1-5)
亦即：
na0 + （∑Xi ) a1 = ∑Yi （式1-6)
（∑Xi ) a0 + （∑Xi^2 ) a1 = ∑（Xi*Yi) （式1-7)
得到的两个关于a0、 a1为未知数的两个方程组，解这两个方程组得出：
a0 = （∑Yi) / n - a1（∑Xi) / n （式1-8)
a1 = [n∑(Xi Yi) - （∑Xi ∑Yi)] / (n∑Xi^2 -∑Xi∑Xi)（式1-9)
这时把a0、a1代入（式1-1）中， 此时的(式1-1）就是我们回归的一元线性方程即：数学模型。
在回归过程中，回归的关联式不可能全部通过每个回归数据点（x1,y1. x2,y2…xm,ym），为了判断关联式的好坏，可借助相关系数“R”，统计量“F”，剩余标准偏差“S”进行判断；“R”越趋近于 1 越好；“F”的绝对值越大越好；“S”越趋近于 0 越好。
R = [∑XiYi - m （∑Xi / m）（∑Yi / m)]/ SQR{[∑Xi2 - m （∑Xi / m)2][∑Yi2 - m （∑Yi / m)2]} （式1-10)
在（式1-10）中，m为样本容量，即实验次数；Xi、Yi分别为任意一组实验数据X、Y的数值。
最小二乘法from百度百科

梯度下降法

梯度下降法from知乎

牛顿法

牛顿法一般指牛顿迭代法

已经证明，如果是连续的，并且待求的零点是孤立的，那么在零点周围存在一个区域，只要初始值位于这个邻近区域内，那么牛顿法必定收敛。 并且，如果不为0, 那么牛顿法将具有平方收敛的性能. 粗略的说，这意味着每迭代一次，牛顿法结果的有效数字将增加一倍。
迭代法也称辗转法，是一种不断用变量的旧值递推新值的过程，跟迭代法相对应的是直接法（或者称为一次解法），即一次性解决问题。迭代算法是用计算机解决问题的一种基本方法。它利用计算机运算速度快、适合做重复性操作的特点，让计算机对一组指令（或一定步骤）重复执行，在每次执行这组指令（或这些步骤）时，都从变量的原值推出它的一个新值。
利用迭代算法解决问题，需要做好以下三个方面的工作：
一、确定迭代变量
在可以用迭代算法解决的问题中，至少存在一个可直接或间接地不断由旧值递推出新值的变量，这个变量就是迭代变量。
二、建立迭代关系式
所谓迭代关系式，指如何从变量的前一个值推出其下一个值的公式（或关系）。迭代关系式的建立是解决迭代问题的关键，通常可以使用递推或倒推的方法来完成。
三、对迭代过程进行控制
在什么时候结束迭代过程？这是编写迭代程序必须考虑的问题。不能让迭代过程无休止地执行下去。迭代过程的控制通常可分为两种情况：一种是所需的迭代次数是个确定的值，可以计算出来；另一种是所需的迭代次数无法确定。对于前一种情况，可以构建一个固定次数的循环来实现对迭代过程的控制；对于后一种情况，需要进一步分析得出可用来结束迭代过程的条件。

C++代码实现：

//此函数是用来求一元3次方程ax^3+bx^2+cx+d=0的解
//比如 x^3-27=0，我们就可以输入1 0 0 -27，这样我们就可以得到一个解
#include<iostream>
#include<cmath>
using namespace std;
int main()
{
double diedai(double a,double b,double c,double d,double x);
double a,b,c,d;
double x=10000.0;
cout<<"请依次输入方程四个系数：";
cin>>a>>b>>c>>d;
x=diedai(a,b,c,d,x);
cout<<x<<endl;
return 0;
}
double diedai(double a,double b,double c,double d,double x)
{
while(abs(a*x*x*x+b*x*x+c*x+d)>0.000001)
{
x=x-(a*x*x*x+b*x*x+c*x+d)/(3*a*x*x+2*b*x+c);
}
return x;
}

牛顿法from百度百科

高斯牛顿法

高斯一牛顿迭代法(Gauss-Newton iteration method)是非线性回归模型中求回归参数进行最小二乘的一种迭代方法，该法使用泰勒级数展开式去近似地代替非线性回归模型，然后通过多次迭代，多次修正回归系数，使回归系数不断逼近非线性回归模型的最佳回归系数，最后使原模型的残差平方和达到最小。其直观思想是先选取一个参数向量的参数值β，若函数ft(Xt，β)在β0附近有连续二阶偏导数，则在β0的邻域内可近似地将ft(Xt，β)看作是线性，因而可近似地用线性最小二乘法求解。

高斯-牛顿法的一般步骤
(1) 初始值的选择。其方法有三种：
一是根据以往的经验选定初始值；
二是用分段法求出初始值；
三是对于可线性化的非线性回归模型，通过线性变换，然后施行最小平方法求出初始值


高斯牛顿法from百度百科