-
中文名称:最小二乘法
英文名称:least square method
定义:在残差满足VPV为最小的条件下解算测量估值或参数估值并进行精度估算的方法。其中V为残差向量,P为其权矩阵。
得: φ = ∑(Yi - a0 - a1 Xi)2 (式1-3) 当∑(Yi-Y计)平方最小时,可用函数 φ 对a0、a1求偏导数,令这两个偏导数等于零。 (式1-4) (式1-5) 亦即:
-
判定系数也叫拟合优度、可决系数。表达式是:R^2=ESS/TSS=1-RSS/TSS该统计量越接近于1,模型的拟合优度越高。问题:在应用过程中发现,如果在模型中增加一个解释变量, R2往往增大这就给人一个错觉:要使得模型拟合得好,只要增加解释变量即可。——但是,现实情况往往是,由增加解释变量个数引起的R2的增大与拟合好坏无关,R2需调整。这就有了调整的拟合优度:R1^2=1-(RSS/(n-k-1))/(TSS/(n-1))在样本容量一定的情况下,增加解释变量必定使得自由度减少,所以调整的思路是:将残差平方和与总离差平方和分别除以各自的自由度,以剔除变量个数对拟合优度的影响:其中:n-k-1为残差平方和的自由度,n-1为总体平方和的自由度。总是来说,调整的判定系数比起判定系数,除去了因为变量个数增加对判定结果的影响。
最小二乘法(又称最小平方法)是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据,并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法还可用于曲线拟合。其他一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达。
在一元函数中,我们已经知道导数就是函数的变化率。对于二元函数我们同样要研究它的“变化率”。然而,由于自变量多了一个,情况就要复杂的多。
在xOy平面内,当动点由P(x0,y0)沿不同方向变化时,函数f(x,y)的变化快慢一般说来是不同的,因此就需要研究f(x,y)在(x0,y0)点处沿不同方向的变化率。
在这里我们只学习函数f(x,y)沿着平行于x轴和平行于y轴两个特殊方位变动时,f(x,y)的变化率。
偏导数的算子符号为:∂。
偏导数反映的是函数沿坐标轴正方向的变化率。
设有二元函数z=f(x,y),点(x0,y0)是其定义域D内一点.把y固定在y0而让x在x0有增量△x,相应地
偏导数
函数z=f(x,y)有增量(称为对x的偏增量)△z=f(x0+△x,y0)-f(x0,y0)。
如果△z与△x之比当△x→0时的极限存在,那么此极限值称为函数z=f(x,y)在(x0,y0)处对x的偏导数(partial derivative)。记作f'x(x0,y0)。
函数z=f(x,y)在(x0,y0)处对x的偏导数,实际上就是把y固定在y0看成常数后,一元函数z=f(x,y0)
偏导数
在x0处的导数
同样,把x固定在x0,让y有增量△y,如果极限存在那么此极限称为函数z=(x,y)在(x0,y0)处对y的偏导数。记作f'y(x0,y0)
当函数z=f(x,y)在(x0,y0)的两个偏导数f'x(x0,y0)与f'y(x0,y0)都存在时,
我们称f(x,y)在(x0,y0)处可导。如果函数f(x,y)在域D的每一点均可导,那么称函数f(x,y)在域D可导。
此时,对应于域D的每一点(x,y),必有一个对x(对y)的偏导数,因而在域D确定了一个新的二元函数,
称为f(x,y)对x(对y)的偏导函数。简称偏导数。
偏导数f'x(x0,y0)表示固定面上一点对x轴的切线斜率;偏导数f'y(x0,y0)表示固定面上一点对y轴的切线斜率。
高阶偏导数:如果二元函数z=f(x,y)的偏导数f'x(x,y)与f'y(x,y)仍然可导,那么这两个偏导函数的偏导数称为z=f(x,y)的二阶偏导数。
二元函数的二阶偏导数有四个:f"xx,f"xy,f"yx,f"yy.
注意:f"xy与f"yx的区别在于:前者是先对x求偏导,然后将所得的偏导函数再对y求偏导;后者是先对y求偏导再对x求偏导.当f"xy与f"yx都连续时,求导的结果与先后次序无关。