AI作业2

1 结构风险最小化

为了防止过拟合提出的策略。

2 正则化

为了减小测试误差的行为。

3 线性回归

预测连续值。

4 逻辑斯蒂回归

计算属于每一个分类的概率，在各分类概率值中找最大值，概率值最大的这个分类即为结果。

5 Sigmoid 与 SoftMax 函数

Sigmoid函数：

SoftMax函数：

6 决策树

是一种十分常用的分类方法，需要监管学习，监管学习就是给出一堆样本，每个样本都有一组属性和一个分类结果，也就是分类结果已知，那么通过学习这些样本得到一个决策树，这个决策树能够对新的数据给出正确的分类。

7 信息熵 条件熵 信息增益

信息熵度量不确定性。

条件熵度量某种条件下的不确定性。

信息增益代表了某种条件下，原始变量不确定性的减小程度。

8 线性判别分析 LDA

将数据投影在低维度上，并且投影后同种类别数据的投影点尽可能的接近，不同类别数据的投影点的中心点尽可能的远。

9 概率近似正确 PAC

同等条件下，模型越复杂泛化误差越大。同一模型在样本满足一定条件的情况下，样本数量越大，模型泛化误差越小。

10 自适应提升AdaBoost

针对同一个训练集训练不同的弱分类器，然后把这些弱分类器集合起来，构成一个更强的强分类器。