机器学习笔记(III)模型评估与选择(II)

调参和最终模型

调参

大多数学习算法都有参数（parameter）需要设定，参数设置不同，学得的模型的性能往往也不同，在进行模型评估和选择时，除了要对适用学习算法进行选择，还需要算法的参数进行设定，这就是通常所说的“参数调节”或者简称“调参”（parameter tuning）

一般选择参数的方式

对每个参数选定一个范围和步长的变化，这实际上是一种在计算开销和性能估计之间进行折中的结果。

一般做法

测试数据：学得模型在实际使用中遇到的数据
验证集：

性能度量

均方误差

对于给定的样本集合
$D=\left\{(x_1,y_1),(x_2,y_2),\dots,(x_m,y_m)\right\}$,其中$y_i$是$x_i$的真实标记。
要评估学习器$f$的性能，要把学习器预测的结果$f(x)$与真实的标记$y$进行比较。
在回归任务中最常用的度量方式是，“均方误差”。
$E(f;D)=\frac{1}{m}\sum_{i=1}^{m}(f(x_i)-y_i)$
对于数据分布$D$和概率密度函数$p(\cdot)$均方误差可以描述为
$E(f;D)=\int_{x\sim D}(f(x)-y)^2p(x)\mathrm{d}x$

精度和错误率

对于样本集合$D$，错误率是分类错误的样本占样本总数的比例，精度是分类正确的样本数占样本总数的比例
于是有下面的公式，
错误率：
$E(f;D)=\frac{1}{m}\sum_{i=1}^{m}\mathbb I(f(x_i\neq y_i))$

精度：
$acc(f;D)=\frac{1}{m}\sum_{i=1}^{m}\mathbb I(f(x_i= y_i))=1-E(f;D)$

对于数据分布$D$和概率密度函数$p(\cdot)$，错误率和精度可以分别被描述为

$E(f;D)=\int_{x\sim D}(f(x)\neq y)p(x)\mathrm{d}x$
$acc(f;D)=\int_{x\sim D}(f(x)=y)p(x)\mathrm{d}x=1-E(f;D)$