7、统计决策理论中的性能评估与误差率估计

统计决策理论中的性能评估与误差率估计

1. 回归神经网络的平均思想

在回归神经网络中，简单平均和加权平均的思想被多次提出。有众多文献提及相关内容，如 Baxt（1992）、Benediktsson & Swain（1992）等。LeBlanc & Tibshirani（1993）不仅延续了这一思路，还考虑了通过自助法进行估计。同时，交叉验证和自助法都可视为校正训练集偏差（或其他度量）的方法，它们的使用方式与处理明显误差的方式相同。

Wolpert 的思想更为通用，我们可以在特征空间局部使用其方法，并允许权重随 x 缓慢变化。在他的通用方案中，将所有“0 级”模型（在留一法交叉验证下）的输出和真实响应作为“1 级”程序的输入，进而做出最终决策。堆叠泛化涵盖了各种组合模型输出的方法，这些方法可能会随 x 变化。Jacobs 等人（1991）采用了类似方法，他们同时训练所有分类器，且 0 级分类器无需在整个输入空间都表现良好。

2. 性能评估

2.1 性能的定义

性能评估首先需要明确性能的定义。基于总风险（期望损失）确定的贝叶斯规则，可作为性能评估的合适基础。当使用特定损失函数时，绘制误分类期望率与“存疑”分类期望率（通常称为拒绝率）的关系图会很有帮助。

误差率 pmc 是对未来随机选择样本做出明确错误分类（包括异常值）的概率，拒绝率 pd 是宣布存疑的概率。我们主要关注 pmc，但相关论述同样适用于 pd，并且关于误差率的陈述也可直接应用于其他损失的平均成本。

2.2 误差率估计

• 测试集法 ：评估误差率最简