机器学习基石系列二

分类

• 根据输出空间的不同分类，二分类，多分类，回归，结构学习等
• 输出空间说明了学习目的

监督与无监督

• 输入数据带标签（y）即为：有监督

• 输出输出无标签（y）即为：无监督
  

  分类聚类问题,异常检测等都是无监督

• 半监督： 标记少量数据避免标记全量数据的麻烦

输出类型分类

学习方式分类

概率逼近

随着样本增大，样本概率逼近全量数据概率（哈夫曼不等式：概率偏差有上届）

抽样误差

一个硬币获得正面概率为0.5，十个硬币全是正面的概率远小于0.5

样本误差上界

样本在多个模型中的误差影响小于全部误差之和

Commnents：

假设有限，且样本在单个假设上的误差一定，在多个假设上的误差有上界，若在多个假设上的误差足够小，样本数据还是可学习的