Stanford机器学习---第八讲 怎样选择机器学习方法——Advice for applying machine learning

=============Deciding what to try next===========

1.出现拟合失败，如何解决？

2.拟合失败后的方法选择

3.小解释

===========Evaluating a Hypothesis=============

1.分配比率

2.两种回归的错误判别方法

====Model Selection and Train/Validation/Test Sets =======

1. Model Selection，选最小的JTEST,但也未必最合理

2. Train/Validation/Test Sets

3.计算三种ERROR

4.MODEL SELECTION

-首先，建立d个model 假设（图中有10个，d表示其id），分别在training set

 上求使其training error最小的θ向量，那么得到d个θ

-然后，对这d个model假设，带入θ，在cross validation set上计算J(cv)，

即cv set error最小的一个model 作为 hypothesis，如下图中J(cv)在第4组中最小，便取d=4的假设。

PS: 其实d表示dimension，也就是维度，表示该hypothesis的最大polynomial项是d维的。

PS': 一般地，J(cv)是大于等于J(train)的

============Diagnosing Bias vs. Variance=============

1. bias：J(train)大，J(cv)大 ，J(train)≈J(cv)，bias产生于d小，underfit阶段；

variance：J(train)小，J(cv)大，J(train)<<J(cv)，variance产生于d大，overfit阶段；

==========Regularization and Bias/Variance===========

1.如何选“人”

2. 将λ从0，0.01，一直往上每次乘以2，那么到10.24总共可以试12次λ。

这12个λ会得到12个model的 cost function，每个对应有J(θ)和 Jcv(θ).

和模型选择的方法相同，首先选出每个cost function下令J(θ)最小的θ，然后取出令Jcv（θ）最小的一组定为最终的λ。

3. λ太小导致overfit，产生variance，J(train)<<J(cv) 

λ太大导致underfit，产生bias，J(train) ≈ J(cv)

===============Learning Curves===================

1.什么时候增加训练数据training set才是有效的？

训练数据越少（如果只有一个），J(train)越小，J(cv)越大；m越大，J(train)越大（因为越难perfectly拟合），J(cv)越小（因为越精确）

2.分别就High Bias 和 High Variance来看看增加training set个数，即m，是否有意义？

增加训练数据的个数对于过拟合是有用的，对于underfit是徒劳！

3.最初的解决方案列表,"人“小有争议？

4.针对underfit和overfit，分别是什么情况呢？