人工智能基础作业_UNIT2

结构风险最小化

是一种基于机器学习的方法，旨在在训练模型时同时考虑拟合数据和模型的复杂度。结构风险是指模型的过度拟合程度与模型的结构复杂度之间的平衡。因此，SRM方法可以通过限制模型的复杂度来防止过度拟合，并在拟合数据和模型复杂度之间取得平衡。

正则化

正则化是一种常用的技术，可以用于减少模型的过度拟合。正则化通常通过在损失函数中添加一个额外的惩罚项来实现。这个惩罚项可以限制模型参数的数量和大小，从而减少过度拟合的风险。

线性回归

线性回归是一种机器学习算法，用于建立一个线性模型来预测数值型数据。在线性回归中，我们试图找到一个最佳拟合直线，使得预测值和实际值的误差最小化。

逻辑斯蒂回归

是一种分类算法，用于预测二分类或多分类问题。它基于线性回归模型，通过一个 Sigmoid 函数将输出值压缩到 0 到 1 之间，代表该样本属于某个类别的概率。

Sigmoid 与 SoftMax 函数

Sigmoid 函数是一种常用的激活函数，它将输入值压缩到 0 到 1 之间。SoftMax 函数是一种归一化函数，用于将多个输入值归一化到 0 到 1 之间，且所有值的和为 1。在深度学习中，Sigmoid 函数常用于二分类问题，SoftMax 函数常用于多分类问题。

决策树

是一种分类和回归算法，它通过不断划分特征空间来构建一个树形结构，每个叶子节点代表一个分类或回归结果。在分类任务中，决策树通过选择最具有区分度的特征来进行分裂，以达到最小化错误分类的目的。

信息熵 条件熵 信息增益

信息熵是用于度量不确定性的指标，它是信息论中的概念。在决策树中，信息熵用于衡量样本集合的纯度，即样本中包含的不同类别的数量。条件熵是在已知某个特征值的条件下，样本集合的熵。信息增益是指在决策树的节点中，某个特征能够带来的熵减少量，即选择该特征进行划分后，样本集合的不确定性减少的程度。

线性判别分析 LDA

是一种分类算法，用于寻找一个线性的投影方式，使得在低维空间中样本点之间的距离尽可能大，同一类样本的距离尽可能小。LDA 主要用于降维和分类问题。

概率近似正确 PAC

是一种理论上的分类算法评估指标，它关注算法的错误率和样本数量之间的关系。PAC 理论认为，通过在有限数量的样本上进行学习，算法可以在一定程度上保证错误率在可接受的范围内，同时样本数量越多，算法的错误率越小。

自适应提升AdaBoost

是一种流行的机器学习算法，用于分类和回归问题。它是一种集成学习方法，通过结合多个弱分类器来构建一个强分类器。
在AdaBoost算法中，每个弱分类器被训练以处理分类错误的样本。通过改变样本权重并重复训练，AdaBoost可以根据每个弱分类器的表现为每个样本分配不同的权重，以便于下一轮训练时更好地关注分类错误的样本。AdaBoost的主要思想是将多个弱分类器组合起来形成一个强分类器。这个强分类器通过对每个弱分类器的结果进行加权来得出最终的预测结果。