Stanford机器学习---第八讲 怎样选择机器学习方法——Advice for applying machine learning

=============Deciding what to try next===========

1.出现拟合失败,如何解决?
2.拟合失败后的方法选择

3.小解释

===========Evaluating a Hypothesis=============

1.分配比率

2.两种回归的错误判别方法


====Model Selection and Train/Validation/Test Sets =======

1. Model Selection,选最小的JTEST,但也未必最合理

2. Train/Validation/Test Sets

3.计算三种ERROR

4.MODEL SELECTION

-首先,建立d个model 假设(图中有10个,d表示其id),分别在training set

 上求使其training error最小的θ向量,那么得到d个θ


-然后,对这d个model假设,带入θ,在cross validation set上计算J(cv),

即cv set error最小的一个model 作为 hypothesis,如下图中J(cv)在第4组中最小,便取d=4的假设。

PS: 其实d表示dimension,也就是维度,表示该hypothesis的最大polynomial项是d维的。

PS': 一般地,J(cv)是大于等于J(train)的



============Diagnosing Bias vs. Variance=============

1. bias:J(train)大,J(cv)大 ,J(train)≈J(cv),bias产生于d小,underfit阶段;

variance:J(train)小,J(cv)大,J(train)<<J(cv),variance产生于d大,overfit阶段;


==========Regularization and Bias/Variance===========

1.如何选“人”


2. 将λ从0,0.01,一直往上每次乘以2,那么到10.24总共可以试12次λ。

这12个λ会得到12个model的 cost function,每个对应有J(θ)和 Jcv(θ).

和模型选择的方法相同,首先选出每个cost function下令J(θ)最小的θ,然后取出令Jcv(θ)最小的一组定为最终的λ



3. λ太小导致overfit,产生variance,J(train)<<J(cv) 

λ太大导致underfit,产生bias,J(train) ≈ J(cv)


===============Learning Curves===================

1.什么时候增加训练数据training set才是有效的?
训练数据越少(如果只有一个),J(train)越小,J(cv)越大;m越大,J(train)越大(因为越难perfectly拟合),J(cv)越小(因为越精确)

2.分别就High Bias 和 High Variance来看看增加training set个数,即m,是否有意义?
增加训练数据的个数对于过拟合是有用的,对于underfit是徒劳


3.最初的解决方案列表,"人“小有争议?

4.针对underfit和overfit,分别是什么情况呢?






评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值