AI 作业 2-监督学习

1、 结构风险最小化（Structural Risk Minimization）是一种用于选择模型的方法，其目标是在训练集上获得较低的经验风险（训练误差）和较小的结构风险（模型复杂度）。结构风险最小化考虑到模型的拟合能力和泛化能力之间的平衡，避免过拟合和欠拟合问题。

2、 正则化（Regularization）是一种用于解决过拟合问题的技术。它通过在目标函数中引入一个正则化项，限制模型参数的大小，使得模型更加稳定和泛化能力更强。

3、 线性回归（Linear Regression）是一种用于建立线性关系的模型，通过拟合最佳直线或者超平面来预测一个或多个连续目标变量。线性回归假设目标变量与自变量之间存在线性关系，并且误差项服从正态分布。

4、 逻辑斯蒂回归（Logistic Regression）是一种用于解决二分类问题的模型。它基于线性回归，通过将线性输出映射到一个概率值，然后根据概率值进行分类预测。逻辑斯蒂回归常用于概率估计和分类问题。

5、Sigmoid函数是一种常用的激活函数，它将任意实数映射到0和1之间的一个数值。Softmax函数是一种概率归一化函数，将一组实数映射到[0, 1]的概率分布。Sigmoid函数常用于二分类问题，而Softmax函数常用于多分类问题。

6、 决策树（Decision Tree）是一种基于树结构的有监督学习算法。它通过一系列的决策问题对样本进行分类或预测。决策树通过递归地对数据进行划分，并根据划分结果构建一棵树，每个结点表示一个决策问题，每个叶子结点表示一个类别或预测结果。

7、 信息熵（Information Entropy）、条件熵（Conditional Entropy）和信息增益（Information Gain）是信息论中的概念，在决策树算法中常用于划分属性选择。信息熵衡量了一个随机变量的不确定度，条件熵衡量了在给定一个属性后的不确定度，信息增益则表示通过划分属性后的信息熵的减少程度。

8、 线性判别分析（Linear Discriminant Analysis，LDA）是一种常用的降维和分类方法。它通过将输入样本投影到低维空间，使得样本在新空间中的类别可分性最大化。LDA假设输入数据的类别分布在低维空间中具有高斯分布且具有相同的协方差矩阵。

9、 概率近似正确（Probably Approximately Correct，PAC）是一种理论框架，用于分析机器学习算法的泛化性能。概率近似正确的定义是在给定一个置信水平下，算法以较高的概率产生一个接近真实模型的假设。

10、 自适应提升（Adaptive Boosting，AdaBoost）是一种集成学习方法，通过迭代地训练一系列弱分类器来构建一个强分类器。每一轮迭代时，AdaBoost会调整样本权重，重点关注分类错误的样本，以此来提高整体分类性能。