机器学习-笔记6

 前面打了一坨字。。。。。被网页搞掉了，伤心ing

 我就捡重要的说。。。。伤心ing

 1.corss validation（交叉验证）和test（验证）的区别，因为andrew的视频里讲的有些模糊，后来baidu了一些资料加深了理解。cross validation比较好的方法是k-折交叉验证：将训练样本集随机地分成k个互不相交的子集，每个折的大小大致相等。利用k-1个训练子集，对给定的一组参数建立回归模型，利用剩下的最后一个子集的MSE评估参数的性能。根据以上过程重复K次，因此每个子集都有机会进行测试，根据k次迭代后得到的MSE平均值来估计期望泛化误差，最后选择一组最优的参数。test就比较单纯。有一个说法是cv是与假设相关的，test是不相关的。

2.bias和variance的区别，这个要说清楚不大可能，但是你可以很容易地区别它，high bias就是说选择的假设模型离真实假设太远，high variance就是假设过于复杂。high bias容易欠拟合，high variance容易过度拟合。下面是解决两种情况的一些方法汇总

 

两个图说明二者区别：（high bias）

 

 

（high variance）

 

3.error analysis：（不一定都有用）

4.error metrics：用来应对这种情况：某种样例概率很低（比如患癌症），不到0.1%，那么算法判断所有人不患癌症，他的准确度也极高。error metrics就是用来应对这种情况的。

首先是几个定义：对于一个假设，可以得到下面一个矩阵：

 

For reference:

• Accuracy = (true positives + true negatives) / (total examples)
• Precision = (true positives) / (true positives + false positives)
• Recall = (true positives) / (true positives + false negatives)
• F1  score = (2 * precision * recall) / (precision + recall)

F1  score 就是判断算法优秀度的数字。

5.最后是自己学习的部分，andrew的open class里没有讲遗传算法相关的东西，所以需要自己以后学习。新借到的一本书还不错，大概学了一些启发搜索，比较有意思的是模拟退火，挺有意思的。加油！

本文出自 “DarkScope从这里开始（..” 博客，请务必保留此出处http://darkscope.blog.51cto.com/4254649/1003316