《机器学习》之模型度量

**模型性能度量

1.留出法：
对于一个机器学习问题，我们通常有数据集D（用于训练模型），但我们还需要评估模型，因此不能把整个D用于训练，因为拿训练过的数据再去评估必然无效。那么最基本的方法就是留出法：

把D划分为两部分：训练集S和测试集T，其中SUT=D,S∩T=Φ。

划分时一般不宜随机划分，因为如果T中正好只取到某一种特殊类型数据，从而带来了额外的误差。此时处理方法要视具体情况而定，如当数据明显的分为有限类时，可以采用分层抽样方式选择测试数据，保证数据分布比例的平衡。

大多情形下，难以得到合适的测试集，此时一般多次重复划分-训练-测试求误差的步骤，取误差的平均值。
**
需要注意的事情：
Ⅰ 若 S较大T较小，那么S训练出的模型与D训练的模型相似，但是T太少，评估结果偶然性大，不准确。

Ⅱ 若S较小T较大，那么S与D训练出的模型差异较大，T的评估失去意义。
通常需要大约2/3~4/5的数据用于训练，剩余样本用于测试。

2.交叉验证法：
-现将数据集D划分成划分成K个大小相似的互斥子集，每个子集都尽可能保持数据分布的一致性
，K通常取5，10，20等等，
通常有 k折交叉验证 留一法，其中留一法的优势为：评估结果往往认为比较准确，擽缺点就是计算开销太大

3.自助法
自助法在数据集较小，难以有效划分数据集时候，很有用，对集成学习方法很有用，然而却会改变数据分布，引入估计偏差
4.性能度量
模型泛化能力的评价标准。
回归任务最常用的是 均方误差
分类任务中：错误率 与 精度 两者之间的关系 错误率 + 精度 =1

5.PR曲线
查全率 和 查准率是一对茅盾的度量
综合考察查准率与查全率: 平衡点 与 F1 F1是两者的调和平均
Fβ是两者加权调和平均， 与算数平均和
几何平均相比，调和平均更重视较小值

6.RUC 与 AUC
真正例率 与 假 正例率的关系

7.代价敏感错误率
为权衡不同类型错误所造成的不同的损失，可为错误赋予 非均等代价
ROC曲线上每一点对应了代价平面上的一条线段，线段下的面积表示了该条件下的期望总体代价，如图所示
8 四种种检验方法

•    假设检验
  

•    t检验
  

•    McNemar 检验
  

•    Friedman 检验
  

•    Nemenyi后续检验
  

9.偏差与方差
偏差-方差分解 是解释学习算法泛化性能的一种重要工具，可以分解为 偏差 与 方差 与 噪声 之和

第一次 写博客，感谢大家的支持！！！