深度解析机器学习中的置信区间（附代码）

机器学习很多时候需要估计某个算法在未知数据上的性能。

置信区间是一种对估计不确定性的量化方法，它们可以用来在总体参数（例如平均值mean，就是从总体中的一个独立观测样本上估计而来）上添加一个界限或者可能性。

在这篇教程中，你会了解置信区间以及如何在实践中计算置信区间。

学完本教程后，你会明白：

置信区间是总体参数估计的一个界限
我们可以直接计算分类方法估计能力的置信区间
任意总体统计的置信区间都可以用bootstrap以一种分布无关法（distribution-free）进行估计

我们开始吧。

教程概览

本教程分为3个部分：

什么是置信区间
分类精度(accuracy)的置信区间
非参数(Nonparametric)置信区间

什么是置信区间

置信区间是总体变量估计的界限，它是一个区间统计量，用于量化估计的不确定性。

置信区间与容忍区间（tolerance interval）不同，后者描述从分布中采样的数据的边界。它也不同于描述单一观察值边界的预测区间（prediction interval）。相反，对于总体参数，如平均值，标准差等等，置信区间提供了一个界限。

在应用机器学习中，我们可能想在展示一个预测模型的能力时使用置信区间。

例如，置信区间可以用来呈现分类模型的性能，可以这样描述：给定样本，范围x到y覆盖真实模型精度的可能性为95%。或者，在95%的置信水平下，模型精度是x+/-y。

置信区间也能在回归预测模型中用于呈现误差，例如：范围x到y覆盖模型真实误差的可能性有95％。或者，在95%的置信水平下，模型误差是x+/-y。

选择95%的置信度在展现置信区间时很常见，但是其他不那么常见的值也会被使用，比如90%和99.7%。实践中，你可以使用任何喜欢的值。

95％的置信区间（CI）是根据我们的数据计算出的值区间，很可能包括我们对总体估计的真实值。
---Page 4, Introduction to the New Statistics: Estimation, Open Science, and Beyond, 2016.

置信区间的价值在于它能够量化估计的不确定性。它提供了一个下限和上限以及一个可能性。作为单独的半径测量，置信区间通常被称为误差范围，并可通过使用误差图来图形化地表示估计的不确定性。

通常，得出估计的样本越大，估计就越精确，置信区间也越小（越好）。

更小的置信区间：更精确的估计
更大的置信区间：不太精确的估计

也可以说，CI透露给我们估计的精确程度，而误差范围是精度的衡量标准。一个短的CI意味着小的误差范围，说明我们有一个相对精确的估计[…]，一个长的CI意味着大的误差范围，说明我们精度较低
---page 4, Introduction to the New Statistics: Estimation, Open Science, and Beyond, 2016

置信区间属于称为估计统计（estimation statistics）的统计学领域，估计统计用于表示和解释实验结果，可以替代或补充统计显著性检验。