本文详细介绍了如何利用Delta方法求解非线性回归模型的预测区间，包括不带权重衰减和带权重衰减两种情况。通过对损失函数的优化和泰勒展开，得出预测值的方差表达式，并推导了预测区间的计算公式。在带权重衰减的情况下，损失函数加入了正则项，预测区间的计算也相应调整。
参考文献：
- Prediction Intervals for Neural Networks via Nonlinear Regression
- Comprehensive Review of Neural Network-Based Prediction Intervals and New Advances
- Neural Network-Based Uncertainty Quantification: A Survey of Methodologies and Applications
1. Delta方法求预测区间推导
本文主要介绍使用Delta方法计算非线性回归预测区间的原理。
1.1 不带权重衰减
考虑一个非线性回归模型：
y = f ( X , w ) + ϵ , ϵ ～ N ( 0 , σ ϵ 2 I ) (1) y = f(X,w)+\epsilon,\epsilon～N(0,\sigma_{\epsilon}^2I) \tag{1} y=f(X,w)+ϵ,ϵ～N(0,σϵ2I)(1)
通过最小化残差平方和来寻找最优的参数 w ^ \hat{w} w^:
l o s s = ( y − y ^ ) T ( y − y ^ ) (2) loss=(y-\hat{y})^T(y-\hat y) \tag{2} loss=(y−y^)T(y−y^)(2)
其中 y ^ \hat y y^是预测值.
假设估计的真实参数为 w ∗ w^* w∗,则函数 f ( X , w ) f(X,w) f(X,w)可以通过一阶Taylor展开近似:
y ^ = f ( X , w ^ ) ≈ f ( X , w ∗ ) + J ( w ^ − w ∗ ) (3) \hat y=f(X,\hat w) \approx f(X,w^*)+J(\hat w-w^*) \tag{3} y^=f(X,w^)≈f(X,w∗)+J(w^−w∗)(3)
其中 J = [ ∂ f ( X i ) ∂ w j ] i j J=\begin{bmatrix}\frac{\partial f(X_i)}{\partial w_j} \end{bmatrix}_{ij} J=[∂wj∂f(Xi)]ij, X i X_i Xi代表第 i i i个数据点.
令 k = y − f ( X , w ∗
最低0.47元/天 解锁文章
2万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
