=============Deciding what to try next===========
1.出现拟合失败,如何解决?
2.拟合失败后的方法选择
3.小解释
===========Evaluating a Hypothesis=============
1.分配比率
2.两种回归的错误判别方法
====Model Selection and Train/Validation/Test Sets =======
1.
Model Selection,选最小的JTEST,但也未必最合理
2.
Train/Validation/Test Sets
3.计算三种ERROR
4.MODEL SELECTION
-首先,建立d个model 假设(图中有10个,d表示其id),分别在training set
上求使其training error最小的θ向量,那么得到d个θ
-然后,对这d个model假设,带入θ,在cross validation set上计算J(cv),
即cv set error最小的一个model 作为 hypothesis,如下图中J(cv)在第4组中最小,便取d=4的假设。
PS: 其实d表示dimension,也就是维度,表示该hypothesis的最大polynomial项是d维的。
PS': 一般地,J(cv)是大于等于J(train)的
============Diagnosing Bias vs. Variance=============
1.
bias:J(train)大,J(cv)大
,J(train)≈J(cv),bias产生于d小,underfit阶段;
variance:J(train)小,J(cv)大,J(train)<<J(cv),variance产生于d大,overfit阶段;
==========Regularization and Bias/Variance===========
1.如何选“人”
2.
将λ从0,0.01,一直往上每次乘以2,那么到10.24总共可以试12次λ。
这12个λ会得到12个model的 cost function,每个对应有J(θ)和 Jcv(θ).
和模型选择的方法相同,首先选出每个cost function下令J(θ)最小的θ,然后取出令Jcv(θ)最小的一组定为最终的λ。
3.
λ太小导致overfit,产生variance,J(train)<<J(cv)
λ太大导致underfit,产生bias,J(train) ≈ J(cv)
===============Learning Curves===================
1.什么时候增加训练数据training set才是有效的?
训练数据越少(如果只有一个),J(train)越小,J(cv)越大;m越大,J(train)越大(因为越难perfectly拟合),J(cv)越小(因为越精确)
2.分别就High Bias 和 High Variance来看看增加training set个数,即m,是否有意义?
增加训练数据的个数对于过拟合是有用的,对于underfit是徒劳!
3.最初的解决方案列表,"人“小有争议?
4.针对underfit和overfit,分别是什么情况呢?