[机器学习和数据分析] 监督与无监督

一、统计（机器）学习

        统计学习就是计算机系统通过运用数据及统计方法提高系统性能的机器学习。

        统计学习的对象是数据(data)。它从数据出发，提取数据的特征，抽象出数据的模型，发现数据中的知识，又回到对数据的分析与预测中去。作为统计学习的对象，数据是多样的，包括存在于计算机及网络上的各种数字、文字、图像、视频、音频数据以及它们的组合。

        对数据的预测与分析是通过构建概率统计模型实现的。统计学习总的目标就是考虑学习什么样的模型和如何学习模型，以使模型能对数据进行准确的预测与分析，同时也要考虑尽可能地提高学习效率。

        统计学习的方法是基于数据构建统计模型从而对数据进行预测与分析。统计学习由监督学习( supervised learning)、非监督学习(unsupervised learning)、半监督学习(semi-supervised learning）和强化学习(reinforcement learning）等组成。

        统计学习方法：从给定的、有限的、用于学习的训练数据(training data）集合出发，假设数据是独立同分布产生的；并且假设要学习的模型属于某个函数的集合，称为假设空间(hypothesisspace)；应用某个评价准则(evaluation criterion)，从假设空间中选取一个最优的模型，使它对已知训练数据及未知测试数据(test data)在给定的评价准则下有最优的预测；最优模型的选取由算法实现。

        统计学习方法包括模型的假设空间、模型选择的准则以及模型学习的算法，称其为统计学习方法的三要素，简称为模型(model)、策略(strategy）和算法（algorithm)。

        实现统计学习方法的步骤如下：

• 得到一个有限的训练数据集合；
• 确定包含所有可能的模型的假设空间，即学习模型的集合；
• 确定模型选择的准则，即学习的策略；
• 实现求解最优模型的算法，即学习的算法；
• 通过学习方法选择最优模型；
• 利用学习的最优模型对新数据进行预测或分析。

一、基本分类：一般包括监督学习、半监督学习、无监督学习、强化学习、主动学习等

1、监督学习（supervised learning）：指从标注数据中学习预测模型的机器学习问题。它的任务是学习一个模型，使模型能够对任意给定的输入，对其相应的输出做出一个好的预测（注意，这里的输入、输出是指某个系统的输入与输出，与学习的输入与输出不同)。它的本质是学习输入到输出的映射的统计规律。

        监督学习利用训练数据集学习一个模型，再用模型对测试样本集进行预测( prediction)。由于在这个过程中需要训练数据集，而训练数据集往往是人工给出的，所以称为监督学习。监督学习分为学习和预测两个过程，由学习系统与预测系统完成。

 2、无监督学习（unsupervised learning）：从无标注数据中学习预测模型的机器学习问题。无标注数据是自然得到的数据，预测模型表示数据的类别、转换或概率。本质是学习数据中的统计规律或潜在规律。模型可以实现对数据的聚类、降维或概率估计。

3、强化学习（reinforcement learning）：指智能系统在与环境的连续互动中学习最优行为策略的机器学习问题。假设智能系统与环境的互动基于马尔可夫决策过程（Markov decision process）。智能系统能观测到的是与环境互动得到的数据序列。强化学习的本质是学习最优的序贯策略。

4、半监督与主动学习

        半监督学习（semi-supervised learning）指利用标注数据和未标注数据学习预测模型的机器学习问题。通常有少量标注数据、大量未标注数据，因为标注数据的构建往往需要人工操作，成本较高；未标注数据的收集不需要太多成本。半监督学习旨在利用未标注数据中的信息，辅助标注数据，进行监督学习，以较低的成本达到较好的学习效果。

        主动学习（active learning）是指机器不断主动给出实例让教师进行标注，然后利用标注数据学习预测模型的机器学习问题。通常的监督学习使用给定的标注数据，往往是随机得到的，可以看作是被动学习，主动学习的目标是找出对学习最有帮助的实例让教师进行标注，以较小的标注代价，达到较好的学习效果。——知识蒸馏、师生网络

 二、按模型分类

1、概率模型与非概率模型：区别不在于输入输出之间的映射关系，而是模型的内部结构

        概率模型（probabilistic model）：决策树、朴素贝叶斯、隐马尔可夫模型、条件随机场、概率潜在语义分析、潜在狄利克雷分配、高斯混合模型；

        非概率模型（non-probabilistic model）/ 确定性模型（deterministic model）：感知机、支持向量机、K近邻、Adaboost、K均值、潜在语义分析、神经网络。

 2、线性模型与非线性模型 —> 特别是非概率模型

        如果函数是线性函数，则称模型是线性模型（linear model），否则是非线性模型。

        线性模型&#