非线性回归模型的原理及评估——解决行星轨道的拟合问题

概述

  在统计学中， 非线性回归是回归分析的一种形式，其中观测数据由函数建模，该函数是模型参数的非线性组合并且取决于一个或多个独立变量。 通过逐次逼近的方法拟合数据。
  在非线性回归中，形式的统计模型 ，
$$f(x,\beta )=\frac{{\beta }_{1}x}{{\beta }_2+x}.$$
  此函数是非线性的，因为它不能表示为两个 $\beta$的线性组合。
  系统误差可能存在于自变量中，但其处理不在回归分析的范围内。 如果自变量不是无差错的，那么这是一个变量误差模型 ，也在此范围之外。
  非线性函数的其他示例包括指数函数 ， 对数函数 ， 三角函数 ， 幂函数 ， 高斯函数和洛伦兹曲线 。

回归统计

  这个过程的基本假设是模型可以用线性函数近似，即一阶泰勒级数 ：
$$f(x_i,\beta )\approx f(x_i,0)+\sum _j{J}_{ij}{\beta }_j$$
  其中$J_{IJ}=\frac{\partial f(x_i,\beta )}{\partial {\beta }_j}$，由此得出最小二乘估计量由下式给出。
$$\hat{\beta }\approx (J_{T}J{)}^{-1}{J}^{T}y$$
  计算非线性回归统计量并将其用作线性回归统计量，但在公式中使用J代替X. 线性近似将偏差引入统计中。 因此，在解释从非线性模型得到的统计数据时，需要比平常更多的谨慎。

普通和加权最小二乘法

  最佳拟合曲线通常假定应该看起来平方的总和最小化残差 。 这是普通的最小二乘 （OLS）方法。 然而，在因变量不具有恒定方差的情况下，可以最小化加权平方残差的总和;看加权最小二乘法 。 理想情况下，每个权重应等于观察方差的倒数，但是在迭代加权最小二乘算法中，可以在每次迭代时重新计算权重。

$Logistic$回归

  对数几率模型（英语：Logit model，也译作“逻辑模型”、“评定模型”、“分类评定模型”）是离散选择法模型之一。

对数几率分布公式

$$P(Y=1|X=x)=\frac{e^{x^{\prime }\beta }}{1+e^{x^{\prime }\beta }}$$
  其中参数$\beta$常用最大似然估计。
  下面介绍与$Logistic$回归相似的一个模型，仅是分布公式上的不同，其算法原理一致。

拟合一个行星轨道

问题一

  行星遵从椭圆性轨道，在笛卡尔坐标$(x,y)$下可以用下列方程来表示：
$$b_0+b_{1}x+b_{2}y+b_{3}xy+b_4{y}^2=x^2$$
$\bullet$ 根据行星轨道在表中10个位置的观测值，运用最小二乘法来拟合5个参数：$b_0,b_1,b_2,b_3,b_4$，构造出拟合曲线。
$$\begin{array}{clcrccccccc}x& 1.02& 0.95& 0.87& 0.77& 0.67& 0.56& 0.44& 0.30& 0.16& 0.01\\ y& 0.39& 0.32& 0.27& 0.22& 0.18& 0.15& 0.13& 0.12& 0.13& 0.15\end{array}$$
在同一幅图上画出拟合的椭圆性轨道（连续的实线）及观测结果，并计算误差的平方和，评估拟合效果。

思路及解答

  本题是给出了10对$x,y$的数据，通过这个数据进行拟合，值得注意的是这个拟合不像普通的线性回归是：
$$f(x)=b_0+b_{1}x+b_2{x}^2+...+b_n{x}^n$$
其中$n=1,2,3,...$
  如是这种形式，可以直接利用MATLAB中的regress函数进行计算。

  本题的函数是：
$$b_0+b_{1}x+b_{2}y+b_{3}xy+b_4{y}^2=x^2$$
  不妨改写为：
b 0 + b 1 x + b 2 y + b 3 x y + b 4 y 2 − x 2 = 0 b_0 + b_1x + b_2y + b_3xy + b_4y^2 - x^2 = 0 b0​+b