AI作业第二次

1 结构风险最小化
结构风险最小化等价于正则化
2 正则化
正则化：损失函数中对网络超参数加权，以防止过拟合
3 线性回归
预测连续值
4 逻辑斯蒂回归
将值确定在【0,1】之间
5 Sigmoid与SoftMax函数
Sigmoid:
softmax:

6 决策树
基本的分类与回归方法
7 信息熵 条件熵 信息增益
信息熵：度量不确定性
条件熵：度量某种条件下的不确定性
信息增益：代表了某种条件下，原始变量不确定性的减小程度
8 线性判别分析LDA
将高纬度通过投影降维然后分类
9 概率近似正确 PAC
同等条件下，模型越复杂泛化误差越大。同一模型在样本满足一定条件的情况下，其数量越大，模型泛化误差越小，因此还可以说模型越复杂越吃样本。
10 自适应提升AdaBoost
针对一个训练集下训练不同的弱分类器，然后将这些弱分类器集合起来构成一个更强的分类器。