【22-23 春学期】AI作业2-监督学习

1.结构风险最小化

结构风险最小化（Structural Risk Minimization，简称SRM）是一种在机器学习中用来防止过拟合的方法。

在机器学习中，我们使用训练数据来训练一个模型，目标是让该模型能够在未知数据上进行准确的预测。过拟合是指模型在训练数据上表现良好，但在未知数据上表现不佳的情况，这通常是由于模型复杂度过高而导致的。过拟合的模型可能过于记忆训练数据中的细节，而无法推广到新的数据上。

SRM 通过在模型复杂度和数据拟合能力之间寻找一个平衡点来解决过拟合问题。具体来说，SRM 在模型的复杂度和训练数据拟合度之间加入了一项正则化项，以避免模型复杂度过高。这可以看作是在目标函数中引入一项“惩罚项”，以防止模型过拟合。

SRM 是一种理论上完整的方法，它可以为不同的模型选择合适的正则化项，并通过统计学习理论提供了基本的理论保证。

2.正则化

正则化是通过限制模型复杂度，来避免过拟合。

常用的神经网络正则化有Dorpout，批归一化，L1和L2正则化。

3.线性回归

将输入变量映射到连续的输出空间的，如温度随时间变化的函数，自由落体位移随时间变化的函数等，称为回归，如果这些函数满足线性关系，则称为线性回归。

4.逻辑斯蒂回归

逻辑斯蒂回归＝线性回归+Sigmoid函数/Soft-Max函数，逻辑斯蒂回归虽然是回归函数，但是通常被用来分类，用来解决二分类或多分类问题，逻辑斯蒂回归使用Sigmoid函数，一般用于解决二分类问题，比如将人按照性别分类，逻辑斯蒂回归使用Soft-Max函数，一般用于解决多分类问题，比如将人按职业不同进行分类。

5.Sigmoid与SoftMax函数

Sigmoid函数:适用于多标签分类问题有多个正确答案，非互斥输出时使用；

Soft-Max函数：适用于多类别分类问题只有一个正确答案，互斥输出时使用。

Sigmoid函数：Sigmoid(X)＝1╱1+e⁻ˣ常用于解决二分类问题

Soft-Max函数：Y'ᵢ＝eʸⁱ╱∑ⱼeʸⁱ,常用于解决多分类问题

6.决策树

决策树是一种通过树形结构来分类的方法。就是监管学习给出一堆样本，每个样本都有一组属性和一个分类结果，也就是分类结果已知，那么通过学习这些样本得到一个决策树，这个决策树能够对新的数据给出正确的分类。

7.信息熵，条件熵，信息增益

信息熵：离散随机事件出现的概率，也就是所有可能时间发生带来的信息量的期望。

条件熵：按一个新的变量的每个值对原变量进行分类，举个例子就是在事件x下事件y的不确定性。

信息增益：信息增益是知道了某个条件后，事件的不确定性下降的程度。

8.线性判别分析LDA

一种降维方法，通常用于解决监督学习中的分类问题，它的基本思想是通过投影降低纬度，投影结果应该满足类内方差最小，类间方差最大

在LDA中，假设每个类别的样本都是由多元正态分布生成的，并且具有相同的协方差矩阵。通过计算类别均值和协方差矩阵，可以推导出最佳分类超平面的方程式，从而对新的样本进行分类。

LDA常用于模式识别、生物统计学、金融分析等领域，尤其在高维数据集中表现良好。

9.概率近似正确PAC

在条件一定的情况下，模型越复杂，过拟合程度越高，泛化能力越差。同一模型，样本越多，模型泛化能力越高。

10.自适应提升AdaBoost

自适应提升（AdaBoost）是一种集成学习方法，用于提高机器学习算法的准确性和稳定性。AdaBoost 是由 Freund 和 Schapire 在 1996 年提出的，是一种迭代算法，每次迭代都会调整被错误分类的样本的权重，以便下一个基本分类器能够更好地分类这些样本。

在 AdaBoost 算法中，每个基本分类器都被赋予一个权重，该权重取决于其分类准确性。然后，这些权重用于计算最终分类器的加权平均值，以使其对所有分类器的结果进行加权投票。通过这种方式，AdaBoost 能够在多个弱分类器的帮助下，形成一个强大的分类器，从而提高模型的准确性。

AdaBoost 算法的一个关键优点是它可以处理高维度的数据，并且在处理噪声和异常值时也表现出色。另外，AdaBoost 也可以应用于不同类型的学习任务，包括分类和回归等。