机器学习——西瓜书知识框架（随时更新）

文章仅记录学习西瓜书后整理的知识框架。

第一章 绪论

1.1 引言

• 定义：机器学习
• 学习算法
• 模型

1.2 基本术语

• 数据集
  • 示例、样本
    • 属性、特征
      • 属性值
        
        
• 属性空间、样本空间、输入空间
  • 维数
  • 特征向量 = 示例、样本
    
    
• 学习、训练
  • 训练数据、训练集
    • 训练样本、训练示例
      
      
• 假设
• 真相、真实
• 学习器
  
  
• 预测
• 标记
  • 样例 = 示例、样本 + 标记
  • 标记空间、输出空间
    
    
• 回归
• 分类
  • 二分类
    • 正类
    • 反类、负类
  • 多分类
• 聚类
  • 簇
    
    
• 测试
  • 测试样本
    
    
• 监督学习
• 无监督学习

1.3 假设空间

• 归纳 —> 泛化
• 演绎 —> 特化
• 归纳学习
  • 广义：学习过程
  • 狭义：学习出一个概念
    • 布尔概念学习
• 假设空间
• 版本空间

1.4 归纳偏好

• 归纳偏好
• 奥卡姆剃刀
• NFL定理

1.5 发展历程

1.6 应用现状

1.7 阅读材料

第二章 模型评估与选择

2.1 经验误差与过拟合

• 错误率
• 精度
• 误差
  • 训练误差、经验误差
  • 泛化误差
    
    
• 过拟合：无法避免（书上讲的原因尚不清楚）
• 欠拟合
  
  
• 模型选择：选择怎样的 学习算法 和 参数配置

2.2 评估方法

• 测试集：选取要与训练集互斥
  • 测试误差
    
    
• 对数据集进行处理，从 数据集D 中产生 训练集S 和 测试集T 的方法：
  • 留出法…