周志华《机器学习》学习笔记2--模型评估与选择

主要是关于准确率（acc）、精确率（precision）、召回率（recall）、ROC、AUC等定义的解释和分析，网上已经有人总结得很好了，包含较多图表，这里偷一下懒=_=,详见：

机器学习性能评估指标

---

另补充一下上面没提到的

偏差与方差

$E(f;D)=bias^{2}(x)+var(x)+\varepsilon ^{2}$

• 泛化误差： $E(f;D)=E[(f(x;D)-y_{D})^{2}]$ 其中$y_{D}$为x在数据集中的标记，y为x的真实标记，$f(x;D)$为预测输出；

• 偏差：$bias^{2}(x)=(\widehat{f}(x)-y)^{2}$ ，即期望输出与真实标记的差别,其中$\widehat{f}(x)$为期望预测；

• 噪声：$\varepsilon^{2}=E[(y_{D}-y)^{2}]$ 表示噪声;

• 方差：$var(x)=E[(f(x;D)-\widehat{f}(x))^{2}]$ 表示使用样本数相同不同训练集产生的方差；

泛化误差可分解为偏差、方差与噪声之和。具体推导见周志华《机器学习》。

偏差度量了学习算法的期望预测与真实结果的偏离程度，即刻画了学习算法本身的拟合能力；
方差度量了同样大小的训练集的变动所导致的学习性能的变化，即刻画了数据扰动所造成的影响；
噪声则表达了在当前任务上任何学习算法所能达到的期望泛化误差的下界，即刻画了学习问题本身的难度。