文章目录
1.引言
1.1模型
1.2 机器学习
2.模型选择的相关定理和原则
2.1没有免费的午餐定理(No Free Lunch,NFL)
2.2 丑小鸭定理(Ugly Ducking)
2.3 Occam剃刀原理(Occam’s Razor)
2.4 最小描述长度原理(Minimum Description Length,MDL)
3.模型选择的评价标准
3.1 统计检验方法
3.2 操作接收者特征曲线ROC
假设正类预测为正类数为TP
负类预测为负类TN
真阳性率=准确率=TP/TP+负类预测为正类
假阳性率=TN/TN+正类预测为负类
3.2 模型复杂度
4.分类器设计中的重采样技术
4.1 刀切法(Jackknife)-1949年Quenouille提出
4.2 自助法(Bootstrap)
4.3 保持方法(Holdout)
4.4 交叉验证(cross-validation)
5. 分类器集成概述
5.1 集成学习的有效条件
5.2集成学习的常用技术手段
5.3 分类器集成算法分类
6.Stacked Generalization(层叠泛化)
7.Bagging(装袋)
8.随机子空间
9. Adaboost
9.1 发展历程
9.2 处理分类问题的思想
9.3 Adaboost算法
有点像softmax。
9.4 Adaboost例子
9.5 理论解释