AI 作业 3-监督学习

集成学习（Ensemble Learning）是一种通过组合多个机器学习模型来提高预测性能的方法。它通过合并多个模型的预测结果，从而减少模型的偏差和方差，提高泛化能力。

支持向量机（Support Vector Machine，SVM）是一种用于分类和回归问题的监督学习算法。它通过找到一个超平面，使得该超平面与支持向量之间的距离最大化，从而实现数据的有效分类。

软间隔（Soft Margin）是支持向量机中的一个概念，用于解决数据集中存在噪声和离群点的情况。软间隔允许一些样本落在超平面的错误一侧，并通过引入松弛变量来处理这些错误。软间隔可以提高模型的鲁棒性和泛化能力。

核函数（Kernel Function）是支持向量机中用于处理非线性问题的关键部分。它能够将数据从原始空间映射到一个更高维的特征空间，使数据在该空间中更容易分隔。常用的核函数包括线性核、多项式核和高斯核等。

VC维（VC Dimension）是测量学习模型假设空间复杂度的一种指标。它表示模型能够适应所有可能的训练集样本组合的能力。VC维越大，模型的拟合能力越强，但泛化能力可能降低。

生成式模型（Generative Model）是一种用于建模数据生成过程的方法。它通过对数据生成的过程进行建模，学习样本的联合概率分布，然后根据贝叶斯定理推断后验概率。生成式模型能够生成新的样本，并可以用于概率估计和生成新的样本。

判别式模型（Discriminative Model）是一种用于建模输入和输出之间关系的方法。它直接学习输入到输出的映射函数，学习样本的条件概率分布。判别式模型能够进行分类和回归预测，但不能生成新的样本。

生成式模型的优点是可以产生新的样本，能够对潜在的数据分布进行建模，有较好的泛化能力；缺点是对特征的选择不敏感，因为它们对于数据生成的具体过程并不重要。判别式模型的优点是可以对条件概率进行建模，通常有较好的预测性能和较低的计算复杂度；缺点是对数据分布假设较强，无法生成新的样本。

监督学习可以使用判别式方法也可以使用生成式方法，它关注的是通过已知的标签来学习输入和输出之间的关系。无监督学习旨在从无标签数据中发现数据的内在结构和模式，可以使用生成式方法或者其他无监督学习算法。

分类是一种判别式方法，它旨在将输入样本分到预定义的类别中。聚类是一种生成式方法，它旨在将输入样本分为相似的组或类别。KNN（K-Nearest Neighbors）是一种常用的分类方法，根据样本的最近邻进行分类。K-means是一种常用的聚类方法，根据样本之间的距离将它们划分为K个簇。