模型的评估和选择
控制变量法, S S S ∝ \propto ∝ 模型、数据量,其中 S S S 表示得分 Score, 0 ≤ 0 \leq 0≤ Score ≤ 1 \leq 1 ≤1
S
S
S 和
M
M
M、
D
D
D 这两个变量都有关
复杂度曲线,
S
∝
D
0
M
S \propto D_0M
S∝D0M,其中
D
0
D_0
D0 表示 相同数据
学习曲线,
S
∝
M
0
D
S \propto M_0D
S∝M0D,其中
M
0
M_0
M0 表示 相同模型
Score 的量化
得分(Score) | |
---|---|
分类问题 | 准确度、精度、召回率、F1得分、F-Beta 得分 |
回归问题 | 平均绝对误差、均方误差、R2分数 |
模型复杂度的量化:超参数
模型 | 超参数 |
---|---|
逻辑回归 | 阶数、次方 |
决策树 | 深度 |
支持向量机 | C C C、kernel |
神经网咯 | 层数 |
朴素贝叶斯 | ?? |
集成方法 | ?? |
调整模型的超参数,得到不同复杂度的模型
训练得分 | 验证得分 | |
---|---|---|
M 1 M_1 M1 | ||
M 2 M_2 M2 | ||
M 3 M_3 M3 |
学习曲线
验证得分 | 训练得分 | |
---|---|---|
30 epoch | ||
50 epoch | ||
80 epoch | ||
100 epoch |
按:一个模型复杂度曲线,可以呈现多个模型。一个学习曲线,只能呈现一个模型。模型复杂度是模型之间横向的比较,学习曲线是 一个模型学习过程的纵向的比较。