Coursera - 机器学习技法 - 课程笔记 - Week 16

Finale

Feature Exploitation

• Kernel：有效的特征转换方法
• Aggregation：由弱到强，不同的组合方法
  • Nearest Neighbor可以看作是一种Conditional的组合模型
• Extraction：寻找潜藏特征
  • AdaBoost：通过选择一个弱分类器实先隐藏特征的抽取
• 降维：压缩原始特征，更具有表现性
  • 特征选择可以认为是一种特征降维的方法

Error Optimization Techniques

• GD：梯度作为错误函数的一阶逼近
  • SGD、Mini-Batch
  • Functional GD
  • Steepest Descent
  • 二阶逼近——牛顿法
• 等价解
  • 对偶SVM
  • Kernel LR、Kernel RR
  • PCA（和特征值问题连结）
• 子问题
  • 多步方法
  • 交替优化（Steepest Descent）
  • 分治法

Overfitting Elimination Techniques

• 正则化
  • 大间隔
  • L2、L1
  • 投票、平均
  • 降噪
  • 剪枝
  • 提前终止
  • 加入约束
• Validation
  • SV数量
  • 算法内部的Validation（剪枝、融合）
  • OOB