机器学习基石三——机器学习分类

1 机器学习问题的分类

1）按照输出空间Y类型划分
二分类、多分类、回归问题（y是连续的）、结构化学习（句法分析）注：每个单词的词性标注是一个多分类问题，但是对一句话里的每个词的词性标注并输出前后的关系，则是一个结构化学习问题。

2）按照样本是否有标签y划分
有监督学习（样本集有标签y）、无监督学习（样本集无标签y，聚类、密度分析、异常点检测）、半监督学习（一部分样本有标签，一部分样本无标签）、增强学习（一些行为反馈的奖励或者惩罚）
监督学习和非监督学习很好理解也已经较为成熟，半监督学习和增强学习却是近些年发展的趋势，其应用也很普遍，为什么会出现半监督学习呢？因为数据标记的成本很大，经常会遇到只有一部分标记的样本，例如图像识别和药物效果预测（因为动物实验或者人体实验的成本很高）。那为什么会有增强学习？对于一些很复杂的问题，自己定义数据标记是很困难的，但是会有一些反馈数据存在。

3）按照样本进行训练的方式划分
批量学习（根据已有的所有样本同时输入进行学习）、在线学习（样本是一个一个输入进行学习，每一次在上一次输入学习得到的模型上进行修正）、主动学习（机器主动问问题，适用于样本标记成本很高的场景）。

2 特征工程

将输入样本中的原始数据转换成具体的特征，有利于机器学出更好的效果。