在第六周课件中,泛化能力 (generalize) 一般指对整个样本的适应性。
还有 high bias 欠拟合,high variance 过拟合。
在应用过程中出现问题,比如:错误率有多高,和别人用相同算法的情况下,一般针对不同情况有以下应对措施:
- Get more training examples
- Try smaller sets of features
- Try getting additional features
- Try adding polynomial features
- Try decreasing λ \lambda λ
- Try increasing λ \lambda λ
Diagnostics can take time to implement, but doing so can be a very good use of your time.
就是说进行诊断是对时间最有效的利用。
数据集的分类:
- 60%训练集 (调theta)
- 20%验证集 (调整正则参数lambda)
- 20%测试集
error是根据
J
(
θ
)
J(\theta)
J(θ)进行计算.
模型选择:根据
J
t
e
s
t
(
θ
)
(
测
试
集
)
,
J
c
v
(
θ
)
(
验
证
集
)
J_{test}(\theta)(测试集),J_{cv}(\theta)(验证集)
Jtest(θ)(测试集),Jcv(θ)(验证集),选择model。线性回归以及逻辑回归。
-
关于d(d 指 x 的最高幂)
d 很小时,模型不能很好的拟合,故而error 都很大
d 很大时,对训练集过拟合,对测试集不行
故而找到合适的d 来 选择模型。
故而要找许多d来测试
如下: -
关于lambda
lambda很大欠拟合
lambda很小过拟合
lambda要适中
进行选择的时候,要用一堆lambda进行验证集调参。比如:
error 与 lambda 的走向
-
关于m(训练集数目)
过拟合走向
欠拟合走向
ps:最后神经网络
小型容易欠拟合,算力要求低
大型容易过拟合,算力要求高