监督学习，无监督学习，半监督学习

1.监督学习（supervised learning）
利用一组带标签的数据, 学习从输入到输出的映射, 然后将新数据用这种映射关系可以得到映射结果, 达到分类或者回归的目的
(1) 分类: 当输出是离散的, 学习任务为分类任务
输入: 一组有标签的训练数据, 标签表明了这些数据的所属类别
输出: 分类模型根据这些训练数据, 训练自己的模型参数, 得出适合这组数据的分类器, 当有新数据需要进行类别判断, 就可以将这组数据作为输入送给学习好的分类器进行判断(得到标签)
训练集: 训练模型已经标注的数据, 用来建立模型发现规律
测试集: 已标注的数据, 送给训练好的模型, 对比结果与原来的标注, 评判该模型的学习能力　
　
一般来说, 获得了一组标注好的数据, 70%当做训练集, 30%当做测试集, 另外还有交叉验证法, 自助法来评估学习模型

评价标准

准确率
所有预测对的,把正类预测成正类(TP),把负类预测成负类(TN)
准确率 = (TP+TN)/总数量

精确率
以二分类为例,预测为正的样本是真的正样本
把正类预测为正类(TP),把负类预测为正类(FP)
精确率=TP/(TP+FP)

召回率
样本中的正比例有多少被预测正确
把正类预测成正类(TP),把正类预测成负类(FN)
召回率=TP/(TP+FN)

sklearn提供的分类函数有: K近邻(knn), 朴素贝叶斯(naivebayes), 支持向量机(svm), 决策树(decision tree), 神经网络模型(Neural networks)

(2) 回归: 当输出是连续的, 学习任务是回归任务。通过回归, 可以了解两个或多个变量是否相关, 方向及其强度, 可以建立数学模型来观察特定变数以及预测特定的变量。

回归可以根据给出的自变量估计因变量的条件期望

2.无监督学习（unsupervised learning）
输入数据没有被标记，也没有确定的结果。样本数据类别未知，需要根据样本间的相似性对样本集进行分类，试图使类内差距最小化，类间差距最大化。通俗点将就是实际应用中，不少情况下无法预先知道样本的标签，也就是说没有训练样本对应的类别，因而只能从原先没有样本标签的样本集开始学习分类器设计。

3.半监督学习（semi-supervised learning）
半监督聚类是数据挖掘领域一个重要的研究方向，利用先验知识（如对约束或少量有标签的数据）来知道研究过程并且提高聚类质量。所给的数据中，有的数据是有标签的，有的数据是无标签的。

在实际情况中，获取的数据大部分都是无标签的，人们企图加入一些人为标注的样本，使得无标签的数据通过训练自动获取标签，这相当于对无监督学习是一种改进。

五种半监督学习的研究方向：

注重设计新的半监督聚类算法、如半监督层次聚类、半监督最大边缘聚类、EMI监督线性判别聚类、半监督子空间聚类、半监督矩阵分解、半监督信息最大化聚类、主动半监督模糊聚类。一般来说，大多数新的半监督聚类方法是考虑标签信息或成对约束的传统聚类算法的扩展。
研究半监督聚类的性质。一些研究关注半监督集群的效率或可扩展性，许多研究人员还使用非负矩阵因式分解、亲和力传播或隐马尔可夫随机域来解决半监督聚类问题，一些工作研究如何使用约束。
3.探讨了半监督聚类的集成框架。例如，有人提出一种基于知识的聚类集成框架，并将其应用于生物分子数据。一种框架考虑了特征选择和聚类解决方案选择。有人提出一种基于约束自组织映射的半监督聚类集成框架和改进的cop-kmeans算法
使用距离度量学习来学习与给定的成对约束相一致的距离度量（DML）。许多研究者探索了半监督聚类中的距离度量学习，如相关成分分析（RCA）、判别成分分析（DCA）、大边缘最近邻分类器（LMNN）、信息论度量学习（ITML）、规范化距离度量学习的在线学习算法。Bregman距离函数学习、线性度量学习和局部线性度量适应。
主要研究半监督聚类的应用。在数据挖掘领域，研究了如何使用半监督聚类和核方法处理大型数据集，还有采用潜空间图正则化方法进行半监督社区检测。