统计学习的分类

统计学习的分类

1. 基本分类

统计学习或机器学习一般包括监督学习、无监督学习、强化学习。有时还包括半监督学习、主动学习。

一、监督学习

**监督学习（supervised learning）**是指从标注数据中学习预测模型的机器学习问题。标注数据表示输入输出的对应关系，预测模型对给定的输入产生相应的输出。监督学习的本质是学习输入到输出的映射的统计规律。

（1）输入空间、特征空间和输出空间

在监督学习中，将输入与输出所有可能取值的集合分别为称为输入空间（input space）与输出空间（output space）。输入与输出空间可以是有限元素的集合，也可以是整个欧氏空间。输入空间与输出空间可以是同一个空间，也可以是不同的空间；但通常输出空间远远小于输入空间。

每个具体的输入是一个实例（instance），通常由特征向量（feature vector）表示。这时，所有特征向量存在的空间称为特征空间（feature space）。特征空间的每一维对应于一个特征。有时假设输入空间与特征空间为相同的空间，对它们不予区分；有时假设输入空间与特征空间为不同的空间，将实例从输入空间映射到特征空间。模型实际上都是定义在特征空间上的。

在监督学习中，将输入与输出看作是定义在输入（特征）空间与输出空间上的随机变量的取值。输入输出变量用大写字母表示，习惯上输入变量写作$X$，输出变量写作$Y$。输入输出变量取值用小写字母表示，输入变量的取值写作$x$，输出变量的取值写作$y$。变量可以是标量或向量，都用相同类型字母表示。除特别声明外，本书中向量均为列向量。输入实例$x$的特征向量记作：
$$x=(x^{(1)},x^{(2)},...,x^{(i)},...,x^{(n)}{)}^T$$
$x^{(i)}$表示$x$的第$i$个特征。注意$x^{(i)}$与$x_i$不同，本书通常用$x_i$表示多个输入变量中的第$i$个变量，即
$$x_i=(x_i^{(1)},x_i^{(2)},...,x_i^{(n)}{)}^T$$
监督学习从训练数据（training data）集合中学习模型，对测试数据（test data）进行预测，训练数据由输入（或特征向量）与输出对组成，训练集通常表示为
T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . , ( x N , y N ) } T=\{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\} T={(x1​,y1​),(x2​,y2​),...,(xN​,yN​)}
测试数据也由输入与输出对组成。输入与输出对又称为样本（sample）或样本点。

输入变量$X$和输出变量$Y$​​有不同的类型，可以是连续的，也可以是离散的。人们根据输入输出变量的不同类型，对预测任务给予不同的名称：输入变量与输出变量均为连续变量的预测问题称为回归问题；输出变量为有限个离散变量的预测问题称为分类问题；输入变量与输出变量均为序列的预测问题称为标注问题。

（2）联合概念分布

监督学习假设输入与输出的随机变量$X$和$Y$遵循联合概率分布$P(X,Y)$。$P(X,Y)$表示分布函数，或分布密度函数。注意在学习过程中，假定这一联合概率分布存在，但对学习系统来说，联合概率分布的具体定义是未知的。训练数据与测试数据被看作是作是依联合概率分布$P(X,Y)$独立同分布产生的。统计学习假设数据存在一定的统计规律，$X$和$Y$具有联合概率分布就是监督学习关于数据的基本假设。

（3）假设空间

监督学习的目的在于学习一个由输入到输出的映射，这一映射由模型来表示。换句话说，学习的目的就在于找到最好的这样的模型。模型属于由输入空间到输出空间的映射的集合，这个集合就是假设空间（hypothesis space）。假设空间的确定意味着学习的范围的确定。

监督学习的模型可以是概率模型或非概率模型，由条件概率分布$P(Y|X)$或决策函数（decision function）$Y=f(X)$表示，随具体学习方法而定。对具体的输入进行相应的输出预测时，写作$P(y|x)$或$y=f(x)$。

（4）问题的形式化

监督学习利用训练数据集学习一个模型，再用模型对测试样本集进行预测。由于在这个过程中需要标注的训练数据集，而标注的训练数据集往往是人工给出的，所以称为监督学习。监督学习分为学习和预测两个过程，由学习系统与预测系统完成。

首先给定一个训练数据集：
T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . , ( x N , y N ) } T=\{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\} T={(x1​,y1​),(x2​,y2​),...,(xN​,yN​)}
其中$(x_i,y_i),i=1,2,...,N$，称为样本或样本点。$x_i\in \chi \subseteq R^n$是输入的观测值，也称为输入或实例，$y_i\in \gamma$是输出的观测值，也称为输出。
监督学习分为学习和预测两个过程，由学习系统和预测系统完成。在学习过程中，学习系统利用给定的训练数据集，通过学习（或训练）得到一个模型，表示为条件概率分布$P(Y|X)$或决策函数$Y=f(X)$。条件概念分布$P(Y|X)$或决策函数$Y=f(X)$描述输入与输出随机变量之间的映射关系。在预测过程中，预测系统对于给定的测试样本集中的输入$x_{N+1}$，由模型$y_{N+1}=argmaxP(y|x_{N+1})$或$y_{N+1}=f(x_{N+1})$给出相应的输出$y_{N+1}$。
在监督学习中，假设训练数据与测试数据是依联合概率分布$P(X,Y)$独立同分布产生的。
学习系统（也就是学习算法）试图通过训练数据集中的样本$(x_i,y_i)$带来的信息学习模型。具体来说，对输入$x_i$，一个具体的模型$y=f(x)$可以产生一个输出$f(x_i)$，而训练数据集中对应的输出是$y_i$。如果这个模型有很好的预测能力，训练样本输出$y_i$和模型输出$f(x_i)$之间的差就应该足够小。学习系统通过不断地尝试，选取最好的模型，以便对训练数据集有足够好的预测，同时对未知的测试数据集的预测也有尽可能好的推广。

二、无监督学习

无监督学习（unsupervised learning）是指从无标注数据中学习预测模型的机器学习问题。无标注数据是自然得到的数据，预测模型表示数据的类别、转换或概率。无监督学习的本质是学习数据中的统计规律或潜在结构。
模型的输入与输出的所有可能取值的集合分别成为输入空间与输出空间。输入空间与输出空间可以是有限元素集合，也可以是欧氏空间。每个输入是一个实例，由特征向量表示。每一个输出是对输入的分析结果，由输入的类别、转换或概率表示。模型可以实现对数据的聚类、降维或概率估计。
假设$\chi$是输入空间，$Z$是隐式结构空间。要学习的模型可以表示为函数$z=g(x)$，条件概率分布$P(z|x)$，或者条件概率分布$P(x|z)$的形式，其中$x\in \chi$是输入，$z\in Z$是输出。包含所有可能的模型的集合称为假设空间。无监督学习旨在从假设空间中选出在给定评价标准下的最优模型。
无监督学习通常使用大量的无标注数据学习或训练。每个样本是一个实例。训练数据表示为 U = { x 1 , x 2 , . . . , x N } U=\{x_1,x_2,...,x_N\} U={x1​,x2​,...,xN​}，其中$x_i,i=1,2,...,N$是样本。
无监督学习可以用于对已有数据的分析，也可以用于对未来的数据的预测。分析时使用学习得到的模型，即函数$z=g(x)$，条件概率分布$P(z|x)$，或者条件概率分布$P(x|z)$。预测时，和监督学习有类似的流程。由学习系统与预测系统完成。在学习过程中，学习系统从训练数据集学习，得到一个最优模型，表示为函数$z=g(x)$，条件概率分布$P(z|x)$或者条件概率分布$P(x|z)$，在预测过程中，预测系统对于给定的输入$x_{N+1}$，由模型$z_{N+1}=g(x_{N+1})$或$z_{N+1}=argma{x}_{z}P(z|x_{N+1})$给出相应的输出$z_{N+1}$，进行聚类或降维，或者由模型$P(x|z)$给出输入的概率$P(x_{N+1}|z_{N+1})$，进行概率估计。

三、强化学习

强化学习（reinforcement learning）是指智能系统在与环境的连续互动中学习最优行为策略的机器学习问题。假设智能系统与环境的互动基于马尔可夫决策过程（Markov decision process），智能系统能观测到的是与环境互动得到的数据序列。强化学习的本质是学习最优的序贯决策。
在每一步$t$，智能系统从环境中观测到一个状态(state)$s_t$与一个奖励(reward)$r_t$，采取一个动作(action)$a_t$。环境根据智能系统选择的动作，决定下一步$t+1$的状态$s_{t+1}$与奖励$r_{t+1}$。要学习的策略表示为给定的状态下采取的动作。智能系统的目标不是短期奖励的最大化，而是长期累计奖励的最大化。强化学习过程中，系统不断地试错（trial and error），以达到学习最优策略的目的。

强化学习的马尔可夫决策过程是状态、奖励、动作序列上的随机过程，由五元组$<S,A,P,r,\gamma >$组成。

• $S$是有限状态(state)的集合
• $A$是有限动作(action)的集合
• $P$是状态转移概率(transition probability)函数：
  $$P(s^{\prime }|s,a)=P(s_{t+1}=s^{\prime }|s_t=s,a_t=a)$$
• $r$是奖励函数(reward function)：$r(s,a)=E(r_{t+1}|s_t=s,a_t=a)$
• $\gamma$是衰减系数(discount factor)：$\gamma \in [0,1]$
  马尔可夫决策过程具有马尔可夫性，下一个状态只依赖于前一个状态与动作，由状态转移概率函数$P(s^{\prime }|s,a)$表示。下一个奖励依赖于前一个状态与动作，由奖励函数$r(s,a)$表示。
  策略$\pi$定义为给定状态下动作的函数$a=f(s)$或者条件概率分布$P(a|s)$。给定一个策略$\pi$，智能系统与环境互动的行为就已确定（或者是确定性或者是随机性的）。
  价值函数(value function)或状态价值函数(state value function)定义为策略$\pi$从某一个状态$s$开始的长期累计奖励的数学期望：
  $$v_{\pi }(s)=E_{\pi }[r_{t+1}+\gamma r_{t+2}+{\gamma }^2{r}_{t+3}+...|s_t=s]$$
  动作价值函数(action value function)定义为策略$\pi$的某一个状态$s$和动作$a$开始的长期累计奖励的数学期望：
  $$q_{\pi }(s,a)=E_{\pi }[r_{t+1}+\gamma r_{t+2}+{\gamma }^2{r}_{t+3}+...|s_t=s,a_t=a]$$
  强化学习的目标就是在所有可能的策略中选出价值函数最大的策略${\pi }^{\ast }$，而在实际学习中往往从具体的策略出发，不断优化已有策略。这里$\gamma$表示未来的奖励会有衰减。
  强化学习方法中有基于策略的(policy-based)、基于价值的(value-based)，这两者属于无模型的(model-free)方法，还有有模型的(model-based)方法。
  有模型的方法试图直接学习马尔可夫决策过程的模型，包括转移概率函数$P(s^{\prime }|s,a)$和奖励函数$r(s,a)$。这样可以通过模型对环境的反馈进行预测，求出价值函数最大的策略${\pi }^{\ast }$。
  无模型的、基于策略的方法不直接学习模型，而是试图求解最优策略${\pi }^{\ast }$，表示为函数$a=f^{\ast }(s)$或者是条件概率条件$P^{\ast }(a|s)$，这样也能达到在环境中做出最优决策的目的。学习通常从一个具体策略开始，通过搜索更优的策略进行。
  无模型的、基于价值的方法也不直接学习模型，而是试图求解最优价值函数，特别是最有动作价值函数$q^{\ast }(s,a)$。这样可以间接地学到最优策略，根据该策略在给定的状态下做出相应的动作。学习通常从一个具体价值函数开始，通过搜索更优的价值函数进行。

四、半监督学习与主动学习

半监督学习(semi-supervised learning)是指利用标注数据和未标注数据学习预测模型的机器学习问题。通常有少量标注数据、大量标注数据，因为标注数据的构建往往需要人工，成本较高，未标注数据的收集不需太多成本。半监督学习旨在利用未标注数据中的信息，辅助标注数据，进行监督学习，以较低的成本达到较好的学习效果。
主动学习(active learning)是指机器不断主动给出实例让教师进行标注，然后利用标注数据学习预测模型的机器学习问题。通常的监督学习使用给定的标注数据，往往是随即得到的，可以看作是“被动学习”，主动学习的目标是找出对学习最有帮助的实例让教师标注，以较小的标注代价，达到较好的学习效果。

2. 按模型分类

一、概率模型与非概率模型

统计学习的模型可以分为概率模型(probabilistic model)和非概率模型(non-probabilistic model)或者确定性模型(deterministic model)。在监督学习中，概率模型取条件概率分布形式$P(y|x)$，非概率模型取函数形式$y=f(x)$，其中$x$是输入，$y$是输出。在无监督学习中，概率模型取条件概率分布形式$P(z|x)$或$P(x|z)$，非概率模型取函数形式$z=g(x)$，其中$x$是输入，$z$是输出。

概率模型	非概率模型
决策树	感知机
朴素贝叶斯	支持向量机
隐马尔可夫模型	$k$近邻
条件随机场	AdaBoost
概率潜在语义分析	$k$均值
潜在狄利克雷分配	潜在语义分析
高斯混合模型	神经网络
逻辑斯蒂回归	逻辑斯蒂回归

条件概率分布$P(y|x)$和函数$y=f(x)$可以相互转化（条件概率分布$P(z|x)$和函数$z=g(x)$同样可以）。具体地，条件概率分布最大化后得到函数，函数归一化后得到条件概率分布。所以，概率模型和非概率模型的区别不在于输入与输出之间的映射关系，而在于模型的内在结构。概率模型通常可以表示为联合概率分布的形式，其中的变量表示输入、输出、隐变量甚至参数。而非概率模型则不一定存在这样的联合概率分布。
概率模型的代表是概率图模型(probabilistic graphical model)，概率图模型是联合概率分布由有向图或者无向图表示的概率模型，而联合概率分布可以根据图的结构分解为因子乘积的形式。贝叶斯网络、马尔科夫随机场、条件随机场是概率图模型。无论模型如何复杂，均可以用最基本的加法规则和乘法规则进行概率推理。

• 加法规则：$P(x)={\sum }_{y}P(x,y)$
• 乘法规则：$P(x,y)=P(x)P(y|x)$

其中$x$和$y$是随机变量（基本概率公式）。

二、线性模型与非线性模型

统计学习模型，特别是非概率模型，可以分为线性模型(linear model) 和非线性模型(non-linear model) 。如果函数$y=f(x)$或$z=g(x)$是线性函数，则称模型是线性模型，否则称模型是非线性模型。

线性模型	非线性模型
感知机	核函数支持向量机
线性支持向量机	AdaBoost
$k$近邻	神经网络
$k$均值
潜在语义分析

深度学习(deep learning) 实际是复杂神经网络的学习，也就是复杂的非线性模型的学习。

三、参数化模型与非参数化模型

统计学习模型又可以分为参数化模型(parametric model) 和非参数化模型(non-parametric model)。参数化模型假设模型参数的维度固定，模型可以由有限维参数完全刻画；非参数化模型假设模型参数的维度不固定或者说无穷大，随着训练数据量的增加而不断增大。

参数化模型	非参数化模型
感知机	决策树
朴素贝叶斯	支持向量机
逻辑斯蒂回归	AdaBoost
$k$均值	$k$近邻
高斯混合模型
潜在语义分析
概率潜在语义分析
潜在狄利克雷分配

3. 按算法分类

统计学习根据算法，可以分为在线学习(online learning) 与批量学习(batch learning)。在线学习是指每次接受一个样本，进行预测，之后学习模型，并不断重复该操作的机器学习。与之对应，批量学习一次接受所有数据，学习模型，之后进行预测。有些实际应用的场景要求学习必须是在线的。比如，数据依次达到无法存储，系统需要及时作出处理；数据规模很大，不可能一次处理所有数据；数据的模式随时间动态变化，需要算法快速适应新的模型（不满足独立同分布假设）。

在线学习可以是监督学习，也可以是无监督学习，强化学习本身就拥有在线学习的特点。

在线的监督学习：
学习和预测在一个系统，每次接受一个输入$x_t$，用已有模型给出预测$f(x_t)$，之后得到相应的反馈，即该输入对应的输出$y_t$；系统用损失函数计算两者的差异，更新模型；并不断重复以上操作。

利用随机梯度下降的感知机学习算法就是在线学习算法。
在线学习通常比批量学习更难，很难学到预测准确率更高的模型，因为每次模型更新中，可利用的数据有限。

4. 按技巧分类

一、贝叶斯学习

贝叶斯学习(Bayesian learning)，又称为贝叶斯推理(Bayesian inference)，是统计学、机器学习中重要的方法。其主要想法是，在概率模型的学习和推理中，利用贝叶斯定理，计算在给定数据条件上模型的条件概率，即后验概率，并应用这个原理进行模型的估计，以及对数据的预测。将模型、未观测要素及其参数用变量表示，使用模型的先验分布是贝叶斯学习的特点。贝叶斯学习中也使用基本概率公式。

朴素贝叶斯、潜在狄利克雷分配的学习属于贝叶斯学习

假设随机变量$D$表示数据，随机变量$\theta$表示模型参数。根据贝叶斯定理，可以用以下公式计算后验概率$P(\theta |D)$：
$$P(\theta |D)=\frac{P(\theta )P(D|\theta )}{P(D)}$$
其中$P(\theta )$是先验概率，$P(D|\theta )$是似然函数。
模型估计时，估计整个后验概率分布$P(\theta |D)$。如果需要给出一个模型，通常取后验概率最大的模型。
预测时，计算数据对后验概率分布的期望值：
$$P(x|D)=\int P(x|\theta ,D)P(\theta |D)d\theta$$
这里$x$时新样本。
贝叶斯估计与极大似然估计在思想上有很大的不同，代表着统计学中贝叶斯学派和频率学派对统计的不同认识。假设先验分布是均匀分布，取后验概率最大，就能从贝叶斯估计得到极大似然估计。

二、核方法

核方法(kernel method)是使用核函数表示和学习非线性模型的一种机器学习方法。有一些线性模型的学习方法基于相似度计算（向量内积计算）。核方法可以把他们扩展到非线性模型的学习。

核函数支持向量机，以及核PCA、核$k$均值属于核方法

把线性模型扩展到非线性模型，直接的做法是显式地定义从输入空间（低维空间）到特征空间（高维空间）的映射，在特征空间中内积计算。比如，支持向量机，把输入空间的线性不可分问题转化为特征空间的线性可分问题。

核方法的技巧在于不显式地定义这个映射，而是直接定义核函数，即映射之后在特征空间的内积。这样可以简化计算。
假设$x_1$和$x_2$式输入空间的任意两个实例（向量），其内积是$<x_1,x_2>$。假设从输入空间到特征空间的映射$\phi$，于是$x_1$和$x_2$在特征空间的映像是$\phi (x_1)$和$\phi (x_2)$，其内积是$<\phi (x_1),\phi (x_2)>$。核方法直接在输入空间中定义核函数$K(x_1,x_2)$，使其满足$K(x_1,x_2)=<\phi (x_1),\phi (x_2)>$。表示定理给出核函数技巧成立的充要条件。