读书笔记：机器学习-周志华（第一至五章）

• ch1-绪论

• ch2-模型评估与选择

  • 三种评估方法
    • 留一法
    • 交叉验证法k折
    • 自助法
  • 性能度量：评估模型泛化能力的评估标准
    • 错误率和精度
    • 查准率、查全率与F1

      

      

    • ROC和AUC
    • 代价敏感错误率与代价曲线

      

  • 比较检验
    • 假设检验
    • 交叉验证t检验
    • McNemar检验
    • Friedman 检验与 Nemenyi 后续检验
  • 偏差与方差

• ch3-线性模型

  • 基本形式
  • 线性回归

    

  • 对数几率回归

    

  • 线性判别分析LDA
  • 多分类学习，拆分策略：一对一、一对其余、多对多
  • 类别不平衡问题
    • 再缩放策略
      • 欠采样：去除一些反例使正反例数目接近
      • 过采样：增加一些正例使正反例数目接近
      • 阈值移动：基于原始训练集，用训练好的分类器进行预测，将公式嵌入决策过程

• ch4-决策树

  • 基本流程

    

  • 划分选择

    

    • 增益率

      

    • 基尼系数

      

  • 剪枝处理：预剪枝和后剪枝
  • 连续与缺失值
  • 多变量决策树

• ch5-神经网络

  • 神经元模型
  • 感知机与多层网络
  • 误差逆传播算法：BP算法
    • 目标是最小化训练集D上的累积误差
    • 训练建议

      

  • 全局最小与局部极小
  • 其他常见神经网络
    • RBF网络

      

    • ART网络

      

      

    • SOM网络

      

    • 级联相关网络

      

    • Elman网络

      

    • Boltzmann机

      

    • 深度学习