AI作业2-监督学习

1. 结构风险最小化：模型的训练目的是尽可能地拟合数据，但是如果模型过于复杂，则容易过拟合。结构风险最小化是一种方法，它不仅考虑模型对数据的拟合程度，还考虑模型的复杂度，以此来平衡模型的拟合度和泛化能力，从而避免过拟合。

2. 正则化：是一种通过向模型的损失函数中加入一个正则项的方法，来限制模型的复杂度，从而避免过拟合。常用的正则化方法包括 L1 正则化和 L2 正则化。

3. 线性回归：线性回归是一种用于建立变量之间线性关系的方法，它可以用来预测一个或多个连续的输出变量，给定一个或多个输入变量。线性回归假设输入和输出之间存在一个线性关系，并尝试在训练数据中找到一组最佳参数，以最小化预测值和真实值之间的平均差异。

4. 逻辑斯蒂回归：逻辑斯蒂回归是一种分类算法，它使用 logistic 函数将输入数据映射到 0 和 1 之间的概率值，用于预测二分类问题。该模型通常用于探究自变量对因变量的影响程度，并通过调整模型参数，使得模型输出的概率值尽可能地接近真实标签。

5. Sigmoid 和 Softmax 函数：这两个函数都用于将输入映射到 0 和 1 之间的概率值，用于分类问题。Sigmoid 函数用于二分类问题，而 Softmax 函数用于多分类问题。Sigmoid 函数将输入数据映射到 0 和 1 之间的概率值，而 Softmax 函数将输入数据映射到多个类别的概率值，保证了所有概率值之和为 1。

6. 决策树：决策树是一种基于树形结构的分类算法，用于预测离散或连续的因变量。它通过不断地对输入变量进行分裂，将数据集划分成不同的子集，并在每个子集上递归地重复该过程，直到达到终止条件，得到最终的预测结果。

7. 信息熵：指用来衡量随机事件发生的不确定性或信息量的一种度量方式。当一个事件有多种可能性发生时，信息熵越高，不确定性就越大。条件熵是在已知某些条件下，对一个事件发生的不确定性进行度量的概念。条件熵越低，对事件的发生有更准确的预测。信息增益是用来衡量在决策树算法中，一个特征对分类结果的影响力大小。计算方式是用初始的信息熵减去选择该特征后的条件熵。

8. 线性判别分析：是一种用来进行特征提取的机器学习算法，主要用于分类问题。它通过将高维数据降维到低维空间来找到最佳的特征子空间，以使不同类别之间的距离最大化，同一类别之间的距离最小化。这样可以在保留数据大部分信息的同时，提高分类器的准确性。

9. 概率近似正确：是一种用来衡量机器学习算法能否在给定置信度下正确分类样本的概率。简单来说，PAC是一种用来评估机器学习算法在真实世界应用中表现的方法。

10. 自适应提升：是一种可以将多个弱分类器组合成一个强分类器，用于分类或回归问题的算法。它的核心思想是通过逐步调整每个弱分类器的权重，让其能够更好地处理前一步分类错误的样本。这样，弱分类器就可以“自适应地”提高它们在难分类样本上的表现，最终形成一个具有很强泛化能力的分类器。