AI作业2-监督学习

1.结构风险最小化

   结构风险最小化（Structural Risk Minimization，简称SRM）是指在选择机器学习模型时，需要考虑模型复杂度与训练误差之间的平衡，以避免过拟合。SRM 通过加入正则化项（例如L1、L2正则化），降低模型复杂度，从而在一定程度上减少过拟合的风险。

2.正则化

   正则化是指在模型训练过程中对模型参数进行约束，以降低过拟合风险的一种技术。常见的正则化方法有L1正则化和L2正则化。L1正则化会让一部分模型参数为零，从而实现特征选择的效果，而L2正则化则会让所有模型参数都趋向于很小的值，从而让模型更加平滑。

3.线性回归

   线性回归分为一元线性回归和多元线性回归，一元线性回归是指在坐标系中找出一条直线，让该直线尽可能多的穿过数据点，也就是让该模型的损失函数最小，多元线性回归就是将一元线性回归拓展到多个维度。

4.逻辑斯蒂回归

  逻辑斯蒂回归（Logistic Regression）是一种用于建立分类模型的机器学习方法，通常用于二分类。该模型通过学习一组权重值，将输入的特征值与类别之间建立概率关系。通常使用 sigmoid 函数将线性模型的输出转换为概率值，进而进行分类。

5.Sigmoid与SoftMax函数

    Sigmoid 函数和 Softmax 函数都是常见的激活函数，常用于神经网络的输出层。

    Sigmoid 函数将实数映射到 (0,1) 的区间，常用于二分类问题。

    Softmax 函数将实数映射到 [0,1] 的区间，并且保证所有输出的和为1，常用于多分类问题。

6.决策树

   决策树是一种常见的机器学习算法，用于建立分类或回归模型。该算法通过对数据进行分割，建立树形结构，从而实现对样本的分类或预测。决策树算法可以根据不同的分割策略分为ID3、C4.5、CART等多种类型。

7.信息熵，条件熵，信息增益

   信息熵：离散随机事件出现的概率，也就是所有可能时间发生带来的信息量的期望。

   条件熵：按一个新的变量的每个值对原变量进行分类，举个例子就是在事件x下事件y的不确定性。

   信息增益：信息增益是知道了某个条件后，事件的不确定性下降的程度。

8.线性判别分析 LDA

  线性判别分析（Linear Discriminant Analysis，简称LDA）是一种用于建立分类模型的机器学习方法，通常用于多分类问题。该算法通过将数据投影到低维空间，从而实现对数据的分类。LDA 假设不同类别的数据具有相同的协方差矩阵，从而在低维空间中找到最佳分类边界。

9.概率近似正确 PAC

  概率近似正确（Probably Approximately Correct，简称PAC）是一种衡量机器学习算法性能的标准。PAC 假设样本是独立同分布的，并且对于任意给定的精度和置信度，算法都能够在有限的样本量下获得一个接近正确的分类器。PAC 学习的理论证明了机器学习问题的可解性，即在一定条件下，机器学习问题是可解的

10.自适应提升AdaBoost

  自适应提升（Adaptive Boosting，简称AdaBoost）是一种用于建立分类模型的机器学习方法，通过串行训练多个弱分类器，最终得到一个强分类器。在每一轮训练中，AdaBoost 根据前一轮分类错误的样本的权重，调整样本权重，并训练一个新的弱分类器。最终的强分类器将所有弱分类器的结果进行加权求和。AdaBoost 的特点是能够减少过拟合风险，同时提高分类器的准确性。