监督学习与无监督学习

机器学习如果按照训练样本标签的有无可以分为以下两种常用方法。
有监督学习(supervised learning)和无监督学习(unsupervised learning)。

以机器学习中的分类(classification)来说，输入的训练数据有特征（feature），有标签（label）。在分类过程中，如果所有训练数据都有标签，则为有监督学习（supervised learning）。如果数据没有标签，显然就是无监督学习（unsupervised learning）了，也即聚类（clustering）。

监督学习，就是通过已有的训练样本（即已知数据以及其对应的输出）去训练得到一个最优模型（这个模型属于某个函数的集合，最优则表示在某个评价准则下是最佳的），再利用这个模型将所有的输入映射为相应的输出，对输出进行简单的判断从而实现分类的目的，也就具有了对未知数据进行分类的能力。
典型的例子就是KNN、SVM。

KNN算法：http://www.omegaxyz.com/2018/01/08/knn/?hilite=%27KNN%E7%AE%97%E6%B3%95%27

SVM算法：http://www.omegaxyz.com/tag/svm/

无监督学习（或者叫非监督学习）则是另一种。它与监督学习的不同之处，在于我们事先没有任何训练样本，而需要直接对数据进行建模。
无监督学习里典型的例子就是聚类了。

k-means聚类算法：http://www.omegaxyz.com/2018/01/27/kmeans/?hilite=%27%E8%81%9A%E7%B1%BB%27

因此，learning家族的整体构造是这样的：
有监督学习（分类，回归）
↕
半监督学习（分类，回归），transductive learning（分类，回归）
↕
半监督聚类（有标签数据的标签不是确定的，类似于：肯定不是xxx，很可能是yyy）
↕
无监督学习（聚类）