【22-23 春学期】AI作业2-监督学习

1.结构风险最小化：

把函数集构造为一个函数子集序列,使各个子集按照VC维的大小排列;在每个子集中寻找最小经验风险,在子集间折衷考虑经验风险和置信范围,取得实际风险的最小。这种思想称作结构风险最小化。

2.正则化

正则化是一种为了减小测试误差的行为(有时候会增加训练误差)。约束要优化的参数，给损失函数加上一些限制去规范它们在接下来的循环迭代中不要自我膨胀。

3.线性回归

线性回归是利用数理统计中回归分析，来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法，运用十分广泛。其表达形式为y = w'x+e，e为误差服从均值为0的正态分布。

4.逻辑斯蒂回归

是对数线性模型，根据现有的数据对分类边界线建立回归公式，以此进行分类。

5. Sigmoid 与 SoftMax 函数

Sigmoid函数：Sigmoid =多标签分类问题=多个正确答案=非独占输出。构建分类器，解决有多个正确答案的问题时，用Sigmoid函数分别处理各个原始输出值。Sigmoid函数是一种logistic函数，它将任意的值转换到 [0,1] 之间

Softmax函数：Softmax =多类别分类问题=只有一个正确答案=互斥输出（例如手写数字，鸢尾花）。构建分类器，解决只有唯一正确答案的问题时，用Softmax函数处理各个原始输出值。Softmax函数的分母综合了原始输出值的所有因素，这意味着，Softmax函数得到的不同概率之间相互关联。

Softmax函数，又称归一化指数函数，函数表达式为

 

6.决策树

决策树是一种树形结构，其中每个内部节点表示一个属性上的判断，每个分支代表一个判断结果的输出，最后每个叶节点代表一种分类结果。

7. 信息熵 条件熵 信息增益

信息熵：表示的是随机变量不确定度的衡量

条件熵：表示在已知随机变量X的条件下，Y的不确定度

信息增益：表示数据集中某个特征X的信息使类Y的信息的不确定性减少的程度，即特征X让类Y不确定度降低。

8. 线性判别分析 LDA

一种监督学习的降维技术，LDA数据集的每个样本都有类别输出。

将数据投影在低维度上，并且投影后同种类别数据的投影点尽可能的接近，不同类别数据的投影点的中心点尽可能的远

9. 概率近似正确 PAC

可能，近似正确。Pac学习是机器学习的数学分析框架，在这个框架中，学习者接收样本，从某种可能的函数中选择一个泛化函数（假设），目标是在较高概率下，所选函数具有较低的泛化误差。

10.自适应提升AdaBoost

一种迭代算法，针对同一个训练集训练不同的分类器，然后把这些弱分类相集合起来构成一个更强的最终分类器（强分类器）。