来源于 西瓜书-周志华
经验误差与过拟合
- 错 误 率 : 分 类 错 误 的 样 本 数 占 总 样 本 数 的 比 例 , E = a m , 即 在 m 个 样 错误率:分类错误的样本数占总样本数的比例,E=\frac{a}{m},即在m个样 错误率:分类错误的样本数占总样本数的比例,E=ma,即在m个样 本 中 有 a 个 样 本 分 类 错 误 本中有a个样本分类错误 本中有a个样本分类错误
- 精 度 = 1 − 错 误 率 精度=1-错误率 精度=1−错误率
- 误 差 : 学 习 器 的 实 际 输 出 与 真 实 输 出 之 间 的 差 异 , 学 习 器 在 训 练 样 本 误差:学习器的实际输出与真实输出之间的差异,学习器在训练样本 误差:学习器的实际输出与真实输出之间的差异,学习器在训练样本 上 的 误 差 叫 训 练 误 差 或 者 经 验 误 差 , 在 新 样 本 上 的 误 差 叫 泛 化 误 差 上的误差叫训练误差或者经验误差,在新样本上的误差叫泛化误差 上的误差叫训练误差或者经验误差,在新样本上的误差叫泛化误差
- 泛 化 : 模 型 对 新 样 本 的 适 应 能 力 泛化:模型对新样本的适应能力 泛化:模型对新样本的适应能力
- 过 拟 合 : 学 习 器 对 训 练 样 本 进 行 了 过 度 学 习 , 产 生 一 个 经 验 误 差 很 小 的 模 型 , 过拟合:学习器对训练样本进行了过度学习,产生一个经验误差很小的模型, 过拟合:学习器对训练样本进行了过度学习,产生一个经验误差很小的模型, 该 模 型 对 新 样 本 的 泛 化 能 力 却 很 弱 该模型对新样本的泛化能力却很弱 该模型对新样本的泛化能力却很弱
-
欠
拟
合
:
学
习
器
对
训
练
样
本
未
进
行
过
充
分
学
习
,
生
成
一
个
经
验
的
误
差
很
大
的
模
型
,
该
欠拟合:学习器对训练样本未进行过充分学习,生成一个经验的误差很大的模型,该
欠拟合:学习器对训练样本未进行过充分学习,生成一个经验的误差很大的模型,该
模
型
f
f
新
样
本
的
泛
化
能
力
却
很
弱
模型ff新样本的泛化能力却很弱
模型ff新样本的泛化能力却很弱
7. 归 一 化 : 将 不 同 的 数 据 范 围 统 一 规 划 在 一 个 范 围 内 的 操 作 归一化:将不同的数据范围统一规划在一个范围内的操作 归一化:将不同的数据范围统一规划在一个范围内的操作
评估方法
针
对
训
练
数
据
训
练
出
的
不
同
模
型
,
我
们
往
往
根
据
模
型
的
泛
化
能
力
对
模
型
进
行
选
择
针对训练数据训练出的不同模型,我们往往根据模型的泛化能力对模型进行选择
针对训练数据训练出的不同模型,我们往往根据模型的泛化能力对模型进行选择
7.
留
出
法
:
直
接
将
数
据
集
D
划
分
为
两
个
互
斥
的
集
合
,
其
中
一
个
集
合
作
为
训
练
集
S
,
另
留出法: 直接将数据集D划分为两个互斥的集合,其中一个集合作为训练集S,另
留出法:直接将数据集D划分为两个互斥的集合,其中一个集合作为训练集S,另
一
个
作
为
测
试
集
T
,
即
D
=
S
∪
T
,
S
∩
T
=
空
集
,
在
S
上
训
练
出
模
型
后
,
用
一个作为测试集T,即D=S\cup T, S\cap T=空集,在S上训练出模型后,用
一个作为测试集T,即D=S∪T,S∩T=空集,在S上训练出模型后,用
T
来
评
估
其
测
试
误
差
,
作
为
对
泛
化
误
差
的
估
计
,
为
了
避
免
因
数
据
划
分
过
程
T来评估其测试误差,作为对泛化误差的估计, 为了避免因数据划分过程
T来评估其测试误差,作为对泛化误差的估计,为了避免因数据划分过程
引
入
额
外
的
偏
差
而
对
最
终
结
果
产
生
影
响
,
采
用
“
分
层
采
样
”
(
样
本
中
正
反
样
例
引入额外的偏差而对最终结果产生影响,采用“分层采样”(样本中正反样例
引入额外的偏差而对最终结果产生影响,采用“分层采样”(样本中正反样例
个
数
相
同
)
,
做
法
:
将
样
本
中
2
3
∼
3
4
用
作
训
练
集
,
个数相同),做法:将样本中\frac{2}{3}\sim\frac{3}{4}用作训练集,
个数相同),做法:将样本中32∼43用作训练集,
剩
下
用
作
测
试
集
,
使
用
留
出
法
时
,
一
般
要
采
用
若
干
次
随
机
划
分
、
重
复
进
行
剩下用作测试集,使用留出法时,一般要采用若干次随机划分、重复进行
剩下用作测试集,使用留出法时,一般要采用若干次随机划分、重复进行
实
验
评
估
后
取
平
均
值
作
为
实验评估后取平均值作为
实验评估后取平均值作为
留
出
法
的
评
估
结
果
.
例
如
进
行
100
次
随
机
划
分
,
每
次
产
生
一
个
训
练
/
测
试
集
用
留出法的评估结果.例如进行100次随机划分,每次产生一个训练/测试集用
留出法的评估结果.例如进行100次随机划分,每次产生一个训练/测试集用
8.
k
折
交
叉
验
证
:
先
将
数
据
集
D
(
D
通
过
分
层
抽
样
获
取
)
划
分
为
k
个
大
小
相
似
的
互
斥
子
集
,
即
D
1
∪
D
2
∪
…
∪
D
k
;
D
i
∩
j
=
空
集
,
每
次
用
k
−
1
个
子
集
用
作
训
练
集
,
剩
下
k折交叉验证:先将数据集D(D通过分层抽样获取)划分为k个大小相似的互斥子集,即D_1\cup D_2\cup…\cup D_k;D_i \cap_j=空集,每次用k-1个子集用作训练集,剩下
k折交叉验证:先将数据集D(D通过分层抽样获取)划分为k个大小相似的互斥子集,即D1∪D2∪…∪Dk;Di∩j=空集,每次用k−1个子集用作训练集,剩下
的
用
作
测
试
集
,
k
最
常
用
的
取
值
是
10
,
此
时
称
为
10
折
交
义
验
证
的用作测试集,k最常用的取值是10,此时称为10折交义验证
的用作测试集,k最常用的取值是10,此时称为10折交义验证
-
自
助
法
:
给
定
包
含
m
个
样
本
的
数
据
集
D
,
我
们
对
它
进
行
采
样
产
生
数
据
集
D
′
:
每
次
随
机
从
自助法:给定包含m个样本的数据集D,我们对它进行采样产生数据集D':每次随机从
自助法:给定包含m个样本的数据集D,我们对它进行采样产生数据集D′:每次随机从
D 中 挑 选 一 个 样 本 , 将 其 拷 贝 放 入 D ′ , 然 后 再 将 该 样 本 放 回 初 始 数 据 集 D 中 , D中挑选一个样本,将其拷贝放入D',然后再将该样本放回初始数据集D中, D中挑选一个样本,将其拷贝放入D′,然后再将该样本放回初始数据集D中,
使 得 该 样 本 在 下 次 采 样 时 仍 有 可 能 被 采 到 ; 这 个 过 程 重 复 执 行 m 次 后 , 我 们 就 得 到 了 包 含 。 使得该样本在下次采样时仍有可能被采到;这个过程重复执行m次后,我们就得到了包含。 使得该样本在下次采样时仍有可能被采到;这个过程重复执行m次后,我们就得到了包含。
个 样 本 的 数 据 集 D ′ , 这 就 是 自 助 采 样 的 结 果 . 显 然 , D 中 有 一 部 分 样 本 会 在 D ′ 中 多 次 出 个样本的数据集D',这就是自助采样的结果.显然,D中有一部分样本会在D'中多次出 个样本的数据集D′,这就是自助采样的结果.显然,D中有一部分样本会在D′中多次出
现 , 而 另 一 部 分 样 本 不 出 现 . 可 以 做 一 个 简 单 的 估 计 , 样 本 在 m 次 采 样 中 始 终 不 被 采 到 的 现,而另一部分样本不出现.可以做一个简单的估计,样本在m次采样中始终不被采到的 现,而另一部分样本不出现.可以做一个简单的估计,样本在m次采样中始终不被采到的
概 率 是 ( 1 − 1 m ) m , 取 极 限 得 到 概率是(1-\frac{1}{m})^m,取极限得到 概率是(1−m1)m,取极限得到
lim m → + ∞ ( 1 − 1 m ) m = 1 e ≈ 0.368 \lim\limits_{m\rightarrow +\infty}(1-\frac{1}{m})^m=\frac{1}{e}\approx0.368 m→+∞lim(1−m1)m=e1≈0.368
即 通 过 自 助 采 样 , 初 始 数 据 集 D 中 约 有 36.8 % 的 样 本 未 出 现 在 采 样 数 据 集 D ′ 中 。 即通过自助采样,初始数据集D中约有36.8\%的样本未出现在采样数据集D'中。 即通过自助采样,初始数据集D中约有36.8%的样本未出现在采样数据集D′中。
于 是 我 们 可 将 D ′ 用 作 训 练 集 , D ∖ D ′ 用 作 测 试 集 ; 这 样 , 于是我们可将D'用作训练集,D\setminus D'用作测试集;这样, 于是我们可将D′用作训练集,D∖D′用作测试集;这样,
实 际 评 估 的 模 型 与 期 望 评 估 的 实际评估的模型与期望评估的 实际评估的模型与期望评估的
模 型 都 使 用 m 个 训 练 样 本 , 而 我 们 仍 有 数 据 总 量 约 1 / 3 的 、 没 在 训 练 集 中 出 现 的 样 本 用 于 模型都使用m个训练样本,而我们仍有数据总量约1/3的、没在训练集中出现的样本用于 模型都使用m个训练样本,而我们仍有数据总量约1/3的、没在训练集中出现的样本用于
测 试 . 这 样 的 测 试 结 果 , 亦 称 “ 包 外 估 计 ” 测试.这样的测试结果,亦称“包外估计” 测试.这样的测试结果,亦称“包外估计”
性能度量
衡
量
模
型
泛
化
能
力
的
评
价
标
准
,
这
就
是
性
能
度
量
,
性
能
度
量
反
映
了
任
务
需
求
衡量模型泛化能力的评价标准,这就是性能度量,性能度量反映了任务需求
衡量模型泛化能力的评价标准,这就是性能度量,性能度量反映了任务需求
10.
线
性
回
归
性
的
能
度
量
线性回归性的能度量
线性回归性的能度量
在
预
测
任
务
中
,
给
定
样
例
集
D
=
{
(
x
1
,
y
1
)
,
(
x
1
,
y
1
)
,
.
.
.
.
,
(
x
m
,
y
m
)
}
在预测任务中,给定样例集D=\left \{(x_1,y_1),(x_1,y_1),....,(x_m,y_m)\right \}
在预测任务中,给定样例集D={(x1,y1),(x1,y1),....,(xm,ym)}
E
(
f
;
D
)
=
1
m
∑
i
=
1
m
(
f
(
x
i
)
−
y
i
)
2
E(f;D)=\frac{1}{m}\sum\limits_{i=1}^{m}(f(x_i)-y_i)^2
E(f;D)=m1i=1∑m(f(xi)−yi)2
f
(
x
i
)
为
学
习
器
f
根
据
模
型
预
测
样
本
i
的
结
果
,
y
i
为
样
本
i
的
真
实
结
果
f(x_i)为学习器f根据模型预测样本i的结果,y_i为样本i的真实结果
f(xi)为学习器f根据模型预测样本i的结果,yi为样本i的真实结果
E
(
f
;
D
)
实
质
是
反
应
了
学
习
器
预
测
样
本
的
结
果
与
真
实
结
果
之
间
偏
离
程
f
f
E(f;D)实质是反应了学习器预测样本的结果与真实结果之间偏离程ff
E(f;D)实质是反应了学习器预测样本的结果与真实结果之间偏离程ff
更
一
般
的
,
对
于
数
据
分
布
D
,
和
概
率
密
度
函
数
p
(
⋅
)
均
方
误
差
可
描
述
为
更一般的,对于数据分布D,和概率密度函数p(\cdot)均方误差可描述为
更一般的,对于数据分布D,和概率密度函数p(⋅)均方误差可描述为
E
(
f
;
D
)
=
∫
x
∼
D
(
f
(
x
)
−
y
)
2
p
(
x
)
d
x
E(f;D)=\int_{x\sim D}(f(x)-y)^2p(x)dx
E(f;D)=∫x∼D(f(x)−y)2p(x)dx
- 分 类 任 务 的 性 能 度 量 分类任务的性能度量 分类任务的性能度量
错
误
率
E
(
f
;
D
)
=
1
m
∑
i
=
1
m
I
(
f
(
x
i
)
≠
y
i
)
错误率E(f;D)=\frac{1}{m}\sum\limits_{i=1}^{m}\mathbb{I}(f(x_i)\neq y_i)
错误率E(f;D)=m1i=1∑mI(f(xi)=yi)
精
度
a
c
c
(
f
;
D
)
=
1
m
∑
i
=
1
m
I
(
f
(
x
i
)
=
y
i
)
=
1
−
E
(
f
;
D
)
精度acc(f;D)=\frac{1}{m}\sum\limits_{i=1}^{m}\mathbb{I}(f(x_i)=y_i)=1-E(f;D)
精度acc(f;D)=m1i=1∑mI(f(xi)=yi)=1−E(f;D)
更
一
般
的
,
对
于
数
据
分
布
D
,
和
概
率
密
度
函
数
p
(
⋅
)
错
误
率
与
精
度
可
描
述
为
更一般的,对于数据分布D,和概率密度函数p(\cdot)错误率与精度可描述为
更一般的,对于数据分布D,和概率密度函数p(⋅)错误率与精度可描述为
E
(
f
;
D
)
=
∫
x
∼
D
I
(
f
(
x
)
≠
y
)
p
(
x
)
d
x
E(f;D)=\int_{x\sim D}\mathbb{I}(f(x)\neq y)p(x)dx
E(f;D)=∫x∼DI(f(x)=y)p(x)dx
a
c
c
(
f
;
D
)
=
∫
x
∼
D
I
(
f
(
x
)
=
y
)
p
(
x
)
d
x
acc(f;D)=\int_{x\sim D}\mathbb{I}(f(x) =y)p(x)dx
acc(f;D)=∫x∼DI(f(x)=y)p(x)dx
-
查
准
率
与
查
全
率
查准率与查全率
查准率与查全率
查 准 率 和 查 全 率 是 一 对 矛 盾 的 度 量 . 一 般 来 说 , 查 准 率 高 时 , 查 全 率 往 往 偏 低 ; 而 查 全 率 高 时 , 查 准 率 往 往 偏 低 。 在 很 多 情 形 下 , 我 们 可 根 据 学 习 器 的 预 测 结 果 对 样 例 进 行 排 序 , 排 在 前 面 的 是 学 习 器 认 为 “ 最 可 能 ” 是 正 例 的 样 本 , 排 在 最 后 的 则 是 学 习 器 认 为 “ 最 不 可 能 ” 是 正 例 的 样 本 。 查准率和查全率是一对矛盾的度量.一般来说,查准率高时,查全率往往偏低;而查全率高时,查准率往往偏低。 在很多情形下,我们可根据学习器的预测结果对样例进行排序,排在前面的是学习器认为“最可能”是正例的样本,排在最后的则是学习器认为“最 不可能”是正例的样本。 查准率和查全率是一对矛盾的度量.一般来说,查准率高时,查全率往往偏低;而查全率高时,查准率往往偏低。在很多情形下,我们可根据学习器的预测结果对样例进行排序,排在前面的是学习器认为“最可能”是正例的样本,排在最后的则是学习器认为“最不可能”是正例的样本。
按 此 顺 序 逐 个 把 样 本 作 为 正 例 进 行 预 测 , 则 每 次 可 以 计 算 出 当 前 的 查 全 率 、 查 准 率 . 以 查 准 率 为 纵 轴 、 查 全 率 为 横 轴 作 图 。 就 得 到 了 查 准 率 一 查 全 率 曲 线 , 简 称 “ P − R 曲 线 ” , 如 下 图 按此顺序逐个把样本作为正例进行预测,则每次可以计算出当前的查全率、查准率.以查准率为纵轴、查全率为横轴作图。就得到了查准率一查全率曲线,简称“P-R曲线”,如下图 按此顺序逐个把样本作为正例进行预测,则每次可以计算出当前的查全率、查准率.以查准率为纵轴、查全率为横轴作图。就得到了查准率一查全率曲线,简称“P−R曲线”,如下图
比 较 上 述 几 个 学 习 器 性 能 的 方 法 : 比较上述几个学习器性能的方法: 比较上述几个学习器性能的方法:
1. 比 较 曲 线 下 的 面 积 ( 不 容 易 ) 1.比较曲线下的面积(不容易) 1.比较曲线下的面积(不容易)
2. 比 较 “ 平 衡 点 ” ( 查 全 率 = 查 准 率 ) 2.比较“平衡点”(查全率=查准率) 2.比较“平衡点”(查全率=查准率)
3. F 1 度 量 : 3.F_1度量: 3.F1度量:
F 1 = 2 ∗ P ∗ R P + R = 2 ∗ T P 样 例 总 数 + T P − T N F_1=\frac{2*P*R}{P+R}=\frac{2*TP}{样例总数+TP-TN} F1=P+R2∗P∗R=样例总数+TP−TN2∗TP
优 化 版 : 优化版: 优化版:
F 1 = ( 1 + β 2 ) ∗ P ∗ R ( β 2 ∗ P ) + R F_1=\frac{(1+\beta^2)*P*R}{(\beta ^2*P)+R} F1=(β2∗P)+R(1+β2)∗P∗R
其 中 β > 0 度 量 了 查 全 率 对 查 准 率 的 相 对 重 要 性 其中\beta>0度量了查全率对查准率的相对重要性 其中β>0度量了查全率对查准率的相对重要性
β = 1 时 退 化 为 标 准 的 F 1 ; \beta=1时退化为标准的F_1; β=1时退化为标准的F1;
β > 1 时 查 全 率 有 更 大 影 响 ; β < 1 时 查 准 率 有 更 大 影 响 。 \beta >1时查全率有更大影响;\beta <1时查准率有更大影响。 β>1时查全率有更大影响;β<1时查准率有更大影响。
13.
R
O
C
与
A
U
C
ROC与AUC
ROC与AUC
R
O
C
是
根
据
任
务
需
求
的
不
同
,
任
务
需
求
对
查
全
率
和
查
准
率
的
偏
重
,
进
行
对
预
测
后
ROC是根据任务需求的不同,任务需求对查全率和查准率的偏重,进行对预测后
ROC是根据任务需求的不同,任务需求对查全率和查准率的偏重,进行对预测后
的
结
果
采
用
不
同
的
截
断
点
进
行
排
序
(
查
准
率
选
取
排
序
靠
前
的
位
置
进
行
截
断
)
,
的结果采用不同的截断点进行排序(查准率选取排序靠前的位置进行截断),
的结果采用不同的截断点进行排序(查准率选取排序靠前的位置进行截断),
R
O
C
曲
线
能
够
反
映
出
学
习
器
泛
化
性
能
的
好
坏
ROC曲线能够反映出学习器泛化性能的好坏
ROC曲线能够反映出学习器泛化性能的好坏
R
O
C
全
称
是
“
受
试
者
工
作
特
征
”
,
R
O
C
曲
线
的
纵
轴
是
“
真
正
例
率
”
,
横
轴
是
“
假
正
例
率
”
ROC全称是“受试者工作特征”,ROC曲线的纵轴是“真正例率”,横轴是“假正例率”
ROC全称是“受试者工作特征”,ROC曲线的纵轴是“真正例率”,横轴是“假正例率”
T
P
R
=
T
P
T
P
+
F
N
TPR=\frac{TP}{TP+FN}
TPR=TP+FNTP
F
P
R
=
F
P
F
P
+
T
N
FPR=\frac{FP}{FP+TN}
FPR=FP+TNFP
A
U
C
=
1
2
∑
i
=
1
m
−
1
(
x
i
+
1
−
x
i
)
(
y
i
+
y
i
+
1
)
(
梯
形
面
积
计
算
公
式
)
AUC=\frac{1}{2}\sum\limits_{i=1}^{m-1}(x_{i+1}-x_i)(y_i+y_{i+1})(梯形面积计算公式)
AUC=21i=1∑m−1(xi+1−xi)(yi+yi+1)(梯形面积计算公式)
ι
r
a
n
k
=
1
m
+
+
m
−
∑
x
+
ϵ
D
+
∑
x
−
ϵ
D
−
(
I
(
f
(
x
+
)
<
f
(
x
−
)
)
+
1
2
I
(
f
(
x
+
)
=
f
(
x
−
)
)
)
\iota _{rank}=\frac{1}{m^++m^-}\sum\limits_{x^+\epsilon D^+}\sum\limits_{x^-\epsilon D^-}(\mathbb{I}(f(x^+)<f(x^-))+\frac{1}{2}\mathbb{I}(f(x^+)=f(x^-)))
ιrank=m++m−1x+ϵD+∑x−ϵD−∑(I(f(x+)<f(x−))+21I(f(x+)=f(x−)))
=
1
−
A
U
C
=1-AUC
=1−AUC
14.
代
价
敏
感
错
误
率
与
代
价
曲
线
代价敏感错误率与代价曲线
代价敏感错误率与代价曲线
代
价
:
产
生
一
次
预
测
结
果
所
要
付
出
的
代
价
,
实
质
是
预
测
结
果
与
期
望
值
之
间
的
偏
离
程
f
f
代价:产生一次预测结果所要付出的代价,实质是预测结果与期望值之间的偏离程ff
代价:产生一次预测结果所要付出的代价,实质是预测结果与期望值之间的偏离程ff
比较检验
学 习 器 的 好 坏 ( 泛 化 性 能 的 比 较 ) 是 建 立 在 统 计 学 的 基 础 上 学习器的好坏(泛化性能的比较)是建立在统计学的基础上 学习器的好坏(泛化性能的比较)是建立在统计学的基础上