AI作业3-监督学习

1.集成学习：

是使用一系列学习器进行学习，并使用某种规则把各个学习结果进行整合从而获得比单个学习器更好的学习效果的一种机器学习方法。集成学习的思路是在对新的实例进行分类的时候，把若干个单个分类器集成起来，通过对多个分类器的分类结果进行某种组合来决定最终的分类，以取得比单个分类器更好的性能。摘要机器学习方法在生产、科研和生活中有着广泛应用，而集成学习则是机器学习的首要热门方向。目前，机器学习方法已经在科学研究、语音识别、人脸识别、手写识别、数据挖掘、医疗诊断、游戏等等领域之中得到应用。

2.支持向量机：

是一类按监督学习方式对数据进行二元分类的广义线性分类器，其决策边界是对学习样本求解的最大边距超平面。

3软间隔：

允许一定量的样本分类错误；优化函数包括两个部分，一部分是点到平面的间隔距离，一部分是误分类的损失个数；C是惩罚系数，误分类个数在优化函数中的权重值；权重值越大，误分类的损失惩罚的越厉害。误分类的损失函数可分为hinge损失，指数损失，对率损失。而经常使用的或者说默认的是使用了损失函数为hinge损失的软间隔函数。

4核函数：

统计学术语，支持向量机通过某非线性变换 φ( x) ，将输入空间映射到高维特征空间。特征空间的维数可能非常高。如果支持向量机的求解只用到内积运算，而在低维输入空间又存在某个函数 K(x, x′) ，它恰好等于在高维空间中这个内积，即K( x, x′) =<φ( x) ⋅φ( x′) > 。那么支持向量机就不用计算复杂的非线性变换，而由这个函数 K(x, x′) 直接得到非线性变换的内积，使大大简化了计算。这样的函数 K(x, x′) 称为核函数。

5.VC维：

对一个指示函数集，如果存在H个样本能够被函数集中的函数按所有可能的2的H次方种形式分开，则称函数集能够把H个样本打散；函数集的VC维就是它能打散的最大样本数目H。若对任意数目的样本都有函数能将它们打散，则函数集的VC维是无穷大，有界实函数的VC维可以通过用一定的阈值将它转化成指示函数来定义

6.生成模型：观测样本和标签的联合概率分布P(x,y)，可以用于无监督或有监督

7.判别模型：直接学习预测函数f(x)或者条件概率分布P(y|x)作为预测

8.生成式模型和判别式模型各有什么优缺点

①生成模型优缺点介绍：

优点：

生成给出的是联合分布，不仅能够由联合分布计算条件分布（反之则不行），还可以给出其他信息。如果一个输入样本的边缘分布很小的话，那么可以认为学习出的这个模型可能不太适合对这个样本进行分类，分类效果可能会不好。

生成模型收敛速度比较快，即当样本数量较多时，生成模型能更快地收敛于真实模型。

生成模型能够应付存在隐变量的情况，比如混合高斯模型就是含有隐变量的生成方法。

缺点：

联合分布是能提供更多的信息，但也需要更多的样本与计算

②判别模型 ：

优点：

节省计算资源，需要的样本数量也少于生成模型。

准确率往往较生成模型高。

由于直接学习，而不需要求解类别条件概率，所以允许我们对输入进行抽象（比如降维、构造等），从而能够简化学习问题。

缺点：

是没有生成模型的上述优点。

9.监督学习是判别式方法，无监督学习是生成式方法？

  监督学习和无监督学习都可以使用判别式方法和生成式方法。

  监督学习是指在有标注数据的情况下，通过学习输入和输出之间的映射关系进行模型训练和预测的过程。监督学习的任务包括分类和回归等。常见的监督学习方法包括决策树、逻辑回归、支持向量机等判别式方法，以及朴素贝叶斯等生成式方法。

  无监督学习是指在没有标注数据的情况下，通过学习数据之间的统计特征来进行数据分析和模型构建的过程。无监督学习的任务包括聚类、降维、密度估计等。常见的无监督学习方法包括K-means、主成分分析（PCA）、自编码器等判别式方法，以及高斯混合模型（GMM）等生成式方法。

  因此，监督学习和无监督学习都可以使用判别式方法和生成式方法，具体使用哪种方法取决于数据的特点和任务需求。

10.分类是判别式方法，聚类是生成式方法？KNN，K-means分别是什么方法？

   分类和聚类都可以使用判别式方法和生成式方法，与其类型无直接关系。KNN是一种监督学习算法，属于判别式方法。它的基本思想是通过计算待分类样本与已知类别样本之间的距离，选择距离最近的K个样本来预测待分类样本所属的类别。KNN算法不需要进行模型的训练过程，是一种非常简单而有效的分类算法。K-means是一种常见的无监督学习算法，属于判别式方法。它的主要任务是将数据集划分为K个类别，其中K是预先设定的聚类数。K-means算法通过计算每个数据点到聚类中心的距离来对数据进行聚类。K-means算法需要进行模型的训练过程，是一种常用的聚类算法。