机器学习基础概念和度量指标

No free lunch theorem

在所有问题都同等重要，且真实的目标函数为均匀分布时，总误差与学习算法无关！

生成模型与判别模型

• 生成模型：通过联合分布求出条件概率分布的模型。NB+HMM.
• 判别模型：直接学习决策函数或条件概率，学习的准确率更高。kNN+决策树。

模型评估方法

数据集的作用

• 训练集：训练模型。
• 验证集： 模型选择。
• 测试集：确定泛化误差。

训练集和测试集的产生：

• 留出法:D=S∪T+S∩T= Ø
• 交叉验证法:D →k 个大小相等的互斥子集.K-1个子集并集为训练集,1个测试集,最终结果取平均。
• bootstrap:适用于数据集较小，难以划分。

性能度量

• 回归问题：MSE.

• 分类任务

  • 错误率+准确率(acc)=1
  • 二分类 混淆矩阵,查准率=$\frac{TP}{TP+FP}$和召回率$=\frac{TP}{TP+FN}$
  • F1(查准率与召回率的调和平均数)。更一般的是$F_{\beta }$，β> 1 时召回率更大影响; ß < 1 时查准率有更大影响.
  • 不同学习器比较
    • 查准率-查全率曲线：P-R曲线，看包含关系。
    • ROC曲线和AUC (Area Under ROC)

• 代价矩阵：不同类型的错误所造成的后果不同。

偏差与方差：泛化误差可分解为偏差、 方差与噪声之和

• 偏差：预测值与真实值之间的差。期望预测与真实结果的偏离程度，即刻画了学习算法本身的拟合能力
• 个数相同的不同训练集产生的方差，同样大小的训练集的变动所导致的学习性能的变化，即刻画了数据扰动所造成的影响.

偏差-方差窘境。