ANN神经网络模型的置信区间的预估-R包nnetpredint应用(一)

ANN神经网络模型的参数

• m 层神经网络模型，每层节点数 sk(k=0,1,2,..,m), s0 为输入向量的维度；
• ok : 第k层输入 a(k-1) * wk 权重并加上 bk 偏移量的结果；
• h(x) : 激活函数,如Sigmoid 函数 1/(1+exp(-x))；
• ak 为第k层神经元对ok 激活后的输出，同时ak 作为第(k+1)层网络的输入；
• 训练集样本输入记录为向量 Xi =c(x1,x2,..,xs0) (i = 1,2,..,Q),
• Q个输入样本；
• n代表所有估测参数的个数; (对于任意层k的wk和bk)

 

 

 

 

预测的误差分析

1. 对于每个样本

假设ti 为真实值,  为模型的拟合值， 为理论最优参数 下的拟合值

那么我们可以得到下列关系ti真实值和ai*预测值的误差服从均值Mean在0的正态分布。

2. 预测值 a 看做任一个参数wi的非线性函数

将a=f(x,w)在任意一个权重参数 wi 处一阶泰勒展开, w* 为最优模型参数；为参数估计Estimation;

      

3. 真实值ti 和拟合值 ai的误差

 与 独立,协方差为0

服从近似的随机分布

为Error项全体方差，其unbiased估计为 样本方差，取

预测区间Prediction Interval表达式推导

基于student学生式分布, 全体Variance 和Mean未知

对于用样本来估计正态分布的全体 N(0, ), 预测新的  预测区间为

神经网络的预测区间用t-分布表示

 

最终我们可以得到ANN的置信区间的表达式: 

S为方差估计值的平方根，计算方法为

 

拓展阅读

Confidence Intervals for Neural Networks and Applications to Modeling Engineering Materials

R包nnetpredint文档