【机器学习】监督学习、非监督学习、批量学习、在线学习、基于实例学习、基于模型学习

其他机器学习系列文章见于专题：机器学习进阶之路——学习笔记整理，欢迎大家关注。

机器学习可根据如下规则进行分类：

1. 是否在人类监督下进行训练（监督学习/非监督学习/半监督学习/强化学习）;
2. 是否可以动态渐进学习（批量学习/在线学习）；
3. 是否只是通过简单地比较新数据点和已知数据点，还是在训练数据中进行模式识别，以建立一个预测模型。

1. 监督/非监督/半监督/强化学习

  机器学习可以根据训练时监督的量和类型进行分类，主要有四类：监督学习、非监督学习、半监督学习、强化学习。

1.1 监督学习

  监督学习（Supervised learning）包含输入输出的训练数据训练模型，用来预测新样本的输出。

  重要的监督学习算法包括：k近邻算法、线性回归、逻辑回归、支持向量机、决策树、神经网络等。

1.2 非监督学习

  非监督学习（Unsupervised learning）的训练数据是不包含输出标签的，算法在输出未知的情况下学习，然后利用学习好的算法预测新样本的输出。

  重要的非监督学习算法包括：聚类（K均值、层次聚类分析、期望最大值）、降维（主成分分析、局部线性嵌入）、关联性规则学习（Apriori算法、Eclat算法）等。

1.3 半监督学习

  让学习器不依赖外界交互，自动地利用未标记样本来提升学习性能，这称为半监督学习。半监督学习训练数据通常是大量不带标签数据加上小部分带标签数据。

1.4 强化学习

  学习系统（智能体，agent）可以对环境进行观察、选择和执行动作，获得奖励，然后自己学习哪个是最佳策略，以得到长久的最大奖励。

2. 批量/在线学习

  根据是否能从导入的数据流进行动态持续学习，可以将机器学习分为批量学习和在线学习

2.1 批量学习

  在批量学习中，系统不能进行持续学习，必须用所有可用数据一次性的进行训练，然后使用已学到的策略来预测新样本，又称为离线学习

2.2 在线学习

  在线学习可以一次一个或一次几个实例（称为小批量）持续地进行训练，所以系统可以动态地学习到达的新数据。

  如果计算资源有限，在线学习算法加载部分数据进行训练，重复这个过程，直到所有数据都进行了训练。

  整个过程通常是离线完成的，这里的“在线”实际上是持续学习的意思。

3. 基于实例/基于模型学习

  根据归纳推广的方式，机器学习方法可以分为：基于实例学习和基于模型学习。

3.1 基于实例学习

  基于实例学习方法先用记忆学习案例，然后用相似度测量推广到新的例子。

3.2 基于模型学习

  基于模型学习的方法先根据这些样本的输入输出的函数关系，建立模型，然后使用这个模型进行预测。

参考文献：

1. 《Hands-On Machine Learning with Scikit-Learn & Tensorflow》——Aurelien Geron