python 最小二乘回归 高斯核_非线性回归模型

这个笔记总结了非线性模型的极大似然估计量和渐进性质，并推导了用于求解模型的Gauss—Newton迭代法。此外，针对每个内容，我还给出了相应的R软件求解算法，并做了相应的模拟。

1 非线性模型

线性模型建立在自变量和响应变量之间呈线性关系的基础上，但实际数据并不总是如此。当我们没有额外信息认为两者之间的关系为线性时，非线性模型便成了一种选择。

考虑非线性模型

其中

，

，

表示观测数，

表示变量数。

表示回归系数。

一般假设成为独立同分布的

高斯随机变量。

2 模型的极大似然估计

如果我们假设模型的随机误差项是独立同分于均值为0方差为常数

的正态分布，那么可以考虑极大似然估计法来估计模型的解。

首先，根据模型和假设得到似然函数

对上式取对数，得到对数似然函数

将对数似然方程对

进行求偏导，根据极值必要条件令为零，从而得到得分方程（score equation）

上式利用了矩阵微分中的结论

其中

，

，

的结论。进一步，上式等价于

由于

表示均值函数，将其记作

，并用

表示

中

被其估计量

替换的结果。那么根据上式可以推导出模型的估计量满足

这时我们记

，其中

，那么就有

“ 这里可以看出极大似然估计量和最小二乘估计量的形式是一致的。 之所以使用似然法，是因为在线性模型、广义线性模型中似然法更普适。

3 迭代求解算法

在非线性回归模型中，求解最小二乘估计量（极大似然估计量）的一个广泛应用的方法是将期望函数线性化，然后利用Gauss—Newton迭代法进行求解。

考虑非线性模型，将其在 点处进行Taylor展开

令

，

，

，则上式可以写成

那么

的最小二乘估计量为

因为

，我们用

作为未知参数

的一个修正估计。那么，我们就按照这个逻辑不停得修正

，也就是说有

当这种修正直到收敛（前后两个估计的改变量非常小）时，即

迭代结束，其中

是某个很小的数，比如说

。

4 估计量的渐近正态性

根据前面分析可知

估计量为

其中

。对上式进行分析，等式右侧的随机项只有

一项，这时我们考察有

和

进一步，上式求出了得分函数

这是一个

中的列向量，并且

所以

上式得到的协方差矩阵称之为Fisher信息矩阵，记做

。所以，

的协方差矩阵也可以写成

重新考察

的近似表达式，由于

是近似关于

的一个线性组合，而

是服从正态分布的，那么

也近似服从正态分布，根据所求的结果有

如果

不是独立的，协方差矩阵为

，可以推出下面结果

且

5 模拟和实例

根据前面的分析可以自己用R编写非线性模型求解函数，以及显著性检验的函数。

“ 迭代算法毕竟是局部最优，模拟的初始值最好取在真实值附近。 如果是实际问题，可以根据经验、利用OLS估计等最为初始值。

5.1 Logistic模型

考虑Logistic增长模型

在本例中取

，

，

；并且 服从标准正态分布，样本观测数取5000。

是服从标准正态分布的噪声。在模拟中，使用Gauss—Newton迭代法给定初始迭代值

，程序迭代5次后收敛，得到系数估计如下图所示

可见算法的效果还是不错的。

5.2 Gompertz模型

考虑Gompertz模型

在本例中取

，

，

；并且

服从标准正态分布，样本观测数取5000。

是服从标准正态分布的噪声。在模拟中，使用Gauss—Newton迭代法给定初始迭代值

，程序迭代6次后收敛，得到系数估计如下图所示

可见算法的效果还是不错的。

5.3 Weibull模型

考虑Weibull模型

在本例中取

，

，

，

；并且

服从

的均匀分布，样本观测数取5000。

是服从标准正态分布的噪声。在模拟中，使用Gauss—Newton迭代法给定初始迭代值 ，程序迭代6次后收敛，得到系数估计如下图所示

可见算法的效果还是不错的。

5.4 Michaelis-Menten模型

考虑Michaelis-Menten模型

对puromycin数据

y	x1	x2
0.02	47	76
0.06	97	107
0.11	123	139
0.22	152	159
0.56	191	201
1.10	200	207

考虑上述Michaelis-Menten模型，使用Gauss—Newton迭代法给定初始迭代值

，程序迭代5次后收敛，得到系数估计

利用得到的参数估计计算拟合值，画出图像如下所示

图中圆点表示真实数据，虚线是得到的Michaelis-Menten模型估计方程。从图中看出，拟合的效果还是不错的。

5.5 渐近正态性验证

考虑5.1中的Logistic模型，在本次试验中分别取观测数目为50,500,1000和5000来进行模拟，每次模拟都做500次，然后画出每次参数估计中

的核密度曲线，并与对应的正态密度曲线进行对比，结果如下所示

如果你喜欢我的文章，可以关注我的WX公众号“小Q统计”——专注分享统计学领域的知识和经验。