1 基本概念
1.1 奥卡姆剃刀和NFL定理
1.1.1 奥卡姆剃刀
含义: 若存在多个假设与观察一致,选最简单的.
注: 怎样判断"简单",并不简单.
1.1.2 NFL定理
结论:学习算法无论多么聪明和笨拙,他们的期望性能相同.即算法只是逼近期望性能的上限
∑
f
E
o
t
e
(
L
a
∣
X
,
f
)
=
=
2
∣
X
∣
−
1
∑
x
∈
X
−
X
P
(
x
)
⋅
1
\begin{aligned} \sum_{f}E_{ote}(\mathfrak{L}_a\vert X,f) &= &=2^{\vert \mathcal{X} \vert-1}\sum_{x\in\mathcal{X}-X}P(x) \cdot 1\\ \end{aligned}
f∑Eote(La∣X,f)==2∣X∣−1x∈X−X∑P(x)⋅1
参考:
[1] 西瓜书
[2] NFL定理
1.2 测试集分离方法
1.2.1 留出法
含义:直接将数据集划分为两个互斥的集合
1.2.2 交叉验证法
貌似batch SGD和交叉验证有异曲同工之处
1.3 模型性能度量
1.3.1 回归任务度量
最常用的是均方误差
1.3.2 分类任务度量
(1) 查准率: 预测为正例中存在多少真正的正例
P
=
T
P
T
P
+
F
P
P=\frac{TP}{TP+FP}
P=TP+FPTP
(2) 查全率(召回率): 真正的正例有多少预测为正例
P
=
T
P
T
P
+
F
N
P=\frac{TP}{TP+FN}
P=TP+FNTP
(3)
F
β
F_{\beta}
Fβ度量:
F
β
=
(
1
+
β
2
)
P
R
(
β
2
P
)
+
R
F_{\beta}=\frac{(1+\beta^{2})PR}{(\beta^{2}P)+R}
Fβ=(β2P)+R(1+β2)PR
当
β
=
1
\beta=1
β=1时为F1度量
(4) mAP计算
参考
[1] mAP计算
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
