《机器学习by周志华》学习笔记-模型评估与选择-02

最新推荐文章于 2024-05-16 22:32:24 发布

VIP文章 vanilla698

最新推荐文章于 2024-05-16 22:32:24 发布

阅读量391

点赞数 9

分类专栏：机器学习机器学习by周志华文章标签：机器学习学习笔记

本文链接：https://blog.csdn.net/vanilla698/article/details/136228832

版权

1、性能度量

1.1、概念

是指对模型（学习器）的泛化性能进行评估，不仅需要有效可行的实验估计方法，还需要有评价标准。

1.2、作用

反映了根据任务需求，对比评价不同模型的能力。

1.3、聚类的性能度量（部分）

预测任务中，给定样例D={(x1,y1)，(x2,y2)，...，(xm,ym)}，其中yi是示例xi的真实标记。

预测结果为f(xi)

真实标记为yi

所以性能度量的指标为「均方误差（mean squared error）」如下公式：

$E(f;D)=\frac{1}{m}\sum_{i=1}^{m}(f(xi)-yi)^2$

举例：识别汽车的移动速度，给定10辆车，编号、速度（单位：km/h）分别为：

（01，34）（02，200）（03，20）（04，119）（05，120）（06，25）（07，120）（08，30）（09，80）（10，80），

学习器通过图像学习得到结果（模型输出的结果）：

（01，30）（02，200）（03，25）（04，120）（05，120）（06，30）（07，120）（08，30）（09，100）（10，80）

故均方误差E= $\frac{1}{10}{(30-34)^{2}+(200-200)^{2}+(20-25)^{2}+(119-120)^{2}+(120-120)^{2}+(25-30)^{2}+(120-120)^{2}+(30-30)^{2}+(80-100)^{2}+(80-80)^{2}}$ = $\frac{1}{10}(4^{2}+(-5)^{2}+(1)^{2}+(-5)^{2}+(20)^{2})$

=46.7

均方误差E(f;D)大于等于0，通过学习器的不同时间阶段的均方误差对比，可以较为明确的判断学习器的训练水平，用来进行模型的评估。

引入数据样本D的概率密度函数 $p(\cdot )$ ，用来描述样本D的不同取样方式所产生的概率，则均方误差为：

$E(f;D)=\int_{x\sim D}^{}(f(x)-y)^{2}p(x)dx$

概率密度函数

1、概念

在数学中，连续型随机变量的概率密度函数（在不至于混淆时可以简称为密度函数）是一个描述这个随机变量的输出值，在某个确定的取值点附近的可能性的函数。而随机变量的取值落在某个区域之内的概率则为概率密度函数在这个区域上的积分。当概率密度函数存在的时候，累积分布函数是概率密度函数的积分。概率密度函数一般以小写标记。

2、定义

对于一维实随机变量X，设它的累积分布函数是 $F_{X} (x)$ ，如果存在可测函数 $p_{X} (x)$ ，满足：

$F_{X} (x)=\int_{-\propto }^{x}p_{X}(t)dt$

那么X是一个连续随机变量，并且 $p_{X}(x)$ 是它的概率密度函数。

3、性质

（1） $p_{X}(x)\geqslant 0$

（2） $\int_{-\propto }^{+\propto }p_{X}(x)dx=1$

（3） $P(a< x\leqslant b)=\int_{a}^{b}p_{X}(x)dx$

...

4、随机数据的概率密度函数

表示瞬时幅值落在某制定范围内的概率。因此是幅值的函数。它随所取范围的幅值而变化。

1.4、错误率与精度

1.4.1、概念

（1）错误率（error rate）：通常我们将分类错误的样本占样本总数的比例称为错误率

（2）精度（accuracy）：即正确率。通常用（1-错误率）%表示。

例如：当错误率=0.001，精度（正确率）就是99.9%

1.4.2、适用情况

是分类任务最常用的2种性能度量，二分类和多分类任务都适用。

1.4.3、公式定义

预测任务中，给定样例D={(x1,y1)，(x2,y2)，...，(xm,ym)}，其中yi是示例xi的真实标记。

预测结果为f(xi)

真实标记为yi

所以分类错误率为：

$E(f;D)=\frac{1}{m}\sum_{i=1}^{m}\mathbb{I}(f(xi)\neq yi)$

精度（正确率）为：

$acc(f;D)=\frac{1}{m}\sum_{i=1}^{m}\mathbb{I}(f(xi)=yi)=1-E(f;D)$

举例：学习器可以给大小体积重量都相同的球分成3种颜色。红色=1，黄色=2，蓝色=3

已知人工确认5个球的颜色分别为（球1，1）（球2，1）（球3，2）（球4，1）（球5，3）

学习器预测输出的颜色分别为（球1，1）（球2，2）（球3，3）（球4，1）（球5，3）

则错误率为：

最低0.47元/天解锁文章

vanilla698

关注

9
点赞
踩
8

收藏

觉得还不错? 一键收藏
打赏
0
评论
《机器学习by周志华》学习笔记-模型评估与选择-02

本章主要对模型的性能指标错误率、精度（正确率）、查准率（准确率）、查全率（召回率）、F1指标、平衡点、ROC、AUC、代价敏感错误率、代价曲线、期望总体代价等做了详细的描述。
复制链接

扫一扫