AI作业3-监督学习

1.集成学习：

   集成学习是一种将多个模型进行组合，以达到更好的分类或回归效果的机器学习方法。它通常可以提高模型的稳定性和泛化能力。常见的集成学习方法包括Bagging、Boosting和Stacking等。

2.支持向量机：

   支持向量机是一种用于分类、回归和异常检测的监督学习算法。它通过寻找一个最优的超平面（或者其他形式的决策边界）来将不同类别的样本分开。SVM还可以通过核函数对数据进行非线性变换，从而处理非线性分类问题。

3.软间隔：

   软间隔是指在SVM中允许一定程度的错分（即某些样本可以被错分到另一个类别），以获得更好的泛化能力。相对于硬间隔（即完全不能容忍错分）的SVM，软间隔的SVM更加鲁棒，可以处理一些噪声或离群点等问题。

4.核函数：

   核函数是SVM中用于对数据进行非线性变换的一种方式。它可以将原始数据映射到高维空间，从而使得线性不可分的问题变成线性可分的问题。常见的核函数有线性核、多项式核和径向基核等。

5.VC维：

   VC维是用来衡量一个假设空间（或者一个学习算法）所能适应的最大数据规模的一个概念。VC维越大，意味着这个假设空间可以适应更复杂的模型，但是也会导致更严重的过拟合问题。

6.生成式模型：

   生成式模型是指一类基于概率模型的机器学习方法。它可以通过对数据分布的建模来进行分类、生成新的样本等任务。常见的生成式模型包括朴素贝叶斯、高斯混合模型等。

7.判别式模型：

   判别式模型是通过输入数据直接预测输出结果的模型，不考虑输入数据与输出结果之间的概率分布关系。常见的判别式模型包括逻辑回归、支持向量机、决策树等。

8.生成式模型和判别式模型各有什么优缺点：

   生成式模型的优点是可以对数据的分布进行建模，从而生成新的数据；缺点是对输入数据中的噪声敏感，且难以处理高维数据。判别式模型的优点是对于输入数据的处理较为简单，可以处理高维数据；缺点是无法对数据分布进行建模，容易受到类别间分布差异大的影响。

9.监督学习是判别式方法，无监督学习是生成式方法：

   监督学习是判别式方法，因为它通过已有的标记数据建立输入和输出之间的映射，从而预测新的输出。无监督学习是生成式方法，因为它通过数据的统计特性来学习数据的分布，从而生成新的数据

10.分类是判别式方法，聚类是生成式方法？KNN，K-means分别是什么方法？

   分类是判别式方法，因为它通过已有的标记数据建立输入和输出之间的映射，从而对新的数据进行分类。聚类是生成式方法，因为它通过数据的统计特性来学习数据的分布，从而对数据进行聚类。KNN是一种基于距离度量的判别式分类算法，K-means是一种基于数据分布的生成式聚类算法。