周志华机器学习读后总结 第12、13章

计算学习理论

什么是计算学习理论

计算学习理论是关于机器学习的理论基础，其目的是分析学习任务的困难本质，为学习算法提供理论保证，并根据分析结果指导算法设计。泛化误差和经验误差是计算学习理论的两个重要概念，现实中我们常用经验误差作为泛化误差的近拟。

 

PAC学习

PAC学习即概率近似正确学习理论，给定训练集，我们希望基于学习算法学得的模型所对应的假设尽可能接近目标概念。

PAC辨识：对于某种学习算法，如果能以一个置信度学得假设满足泛化误差的预设上限，则称该算法能从假设空间中PAC辨识概念类，即该算法的输出假设已经十分地逼近目标概念。

PAC可学习：当样本超过一定数量时，学习算法总是能PAC辨识概念类，则称概念类为PAC可学习的。

   PAC学习算法：若学习算法的运行时间为多项式时间，则称其为PAC学习算法。

 

有限假设空间

可分情形：可分情形指的是：目标概念包含在算法的假设空间中；研究问题是需要多大规模的数据集D才能让学习算法以置信度的概率从这些经验误差都为0的假设中找到目标概念的有效近似。对于可分情形的有限假设空间，目标概念都是PAC可学习的，即当样本数量满足一定条件之后，在与训练集一致的假设中总是可以在1-σ概率下找到目标概念的有效近似。

不可分情形：不可分情形指的是：目标概念不存在于假设空间中，这时我们就不能像可分情形时那样从假设空间中寻找目标概念的近似。但当假设空间给定时，必然存在一个假设的泛化误差最小，若能找出此假设的有效近似也不失为一个好的目标，这便是不可知学习的来源。

 

VC维

现实中的学习任务通常都是无限假设空间，欲对此种情形进行可学习研究，需要度量假设空间的复杂度，这便是VC维。VC维的几个概念：整长函数、对分和打散。

任何VC维有限的假设空间都是（不可知）PAC可学习的，换而言之：若假设空间的最小泛化误差为0即目标概念包含在假设空间中，则是PAC可学习，若最小泛化误差不为0，则称为不可知PAC可学习。

 

Rademacher复杂度和稳定性

Rademacher复杂度是一种刻画假设空间复杂度的途径，与VC维不同的是，它在一定程度上考虑了数据分布。我们从Rademacher复杂度和增长函数能推导出基于VC维的泛化误差界。

稳定性考察的是当算法的输入发生变化时，输出是否会随之发生较大的变化。若学习算法是ERM且稳定的，则假设空间可学习。

 

 

半监督学习

什么是半监督学习

让学习器不依赖外界交互、自动地利用未标记样本来提升学习性能，这就是半监督学习；要利用未标记样本，必须要做一些将未标记样本所揭示的数据分布信息与类别标记相连系的假设。最常见的是聚类假设和流形假设。

半监督学习可进一步划分为纯半监督学习和直推学习：纯半监督学习是基于开放世界假设，希望学得模型能适用于训练过程中未观察到的数据；而直推学习是基于封闭世界假设，仅试图对学习过程中观察到的未标记数据进行预测。

 

生成式方法

生成式方法是直接基于生成式模型的方法，此类方法假设所有数据（无论是否有标记）都是由同一个潜在的模型生成的。未标记数据的标记可看做模型的缺失参数，通常可基于EM算法进行极大似然估计求解。

 

半监督SVM

半监督支持向量机（S3VM）是支持向量机在半监督学习上的推广；在不考虑未标记样本时，支持向量机试图找到最大间隔划分超平面，而在考虑未标记样本后，S3VM试图找到能将两类有标记样本分开，且穿过数据低密度区域的划分超平面。用TSVM算法来计算未标记样本的标记。

 

图半监督学习

给定一个数据集，我们可以将数据集映射为一个图，数据集中每个样本对应于图中一个结点，若两个样本之间的相似度很高（或相关性很强），则对应的结点之间存在一条边，边的强度正比于样本之间的相似度（或相关性）。我们可以将有标记样本所对应的结点想象为染过色，而未标记样本所对应的结点尚未染色。于是，半监督学习就对应于“颜色”在图上的扩散或传播的过程。由于一个图对应了一个矩阵，这就使得我们能基于矩阵运算来进行半监督学习算法的推导与分析。在此用迭代式标记传播方法来求出未标记样本的标记。

 

基于分歧的方法

基于分歧的方法通过多个学习器之间的分歧或多样性来利用未标记样本数据，协同训练就是其中的一种经典方法。协同训练最初是针对于多视图）数据而设计的，多视图数据指的是样本对象具有多个属性集，每个属性集则对应一个试图。两个关于视图的重要性质：相容性：即使用单个视图数据训练出的学习器的输出空间是一致的。例如都是{好，坏}、{+1,-1}等。互补性：即不同视图所提供的信息是互补/相辅相成的，实质上这里体现的就是集成学习的思想。为了使用此类方法，需能生成具有显著分歧、性能尚可的多个学习器。

 

半监督聚类

半监督聚类则是借助已有的监督信息来辅助聚类的过程。一般而言，监督信息大致有两种类型：必连与勿连约束（约束K均值算法）：必连指的是两个样本必须在同一个类簇，勿连则是必不在同一个类簇。标记信息（约束种子K均值）算法：少量的样本带有真实的标记。