机器学习期末复习笔记

线性判别函数的多分类情况

线性判别函数的多分类情况_winycg的博客-CSDN博客_多分类判别函数

自信息和互信息、信息熵

自信息和互信息、信息熵 - 简书

机器学习中的判别式模型和生成式模型//写的很好

机器学习中的判别式模型和生成式模型 - 知乎

SVM从原始问题到对偶问题的转换及原因

SVM从原始问题到对偶问题的转换及原因_xiaocong1990的博客-CSDN博客_对偶问题与原问题转换

 Bagging可以降低模型方差/Boosting可以降低模型偏差

验证集和训练集的误差值都很大，偏差大，此时为欠拟合 //表现

训练集误差非常小，但验证集误差远大于训练集误差，此时为过拟合 //表现

欠拟合：当模型处于欠拟合状态时，根本的办法是增加模型复杂度。

修改模型架构（增大模型规模）

增加模型的迭代次数

更多特征

降低模型正则化水平（L2、L1、Dropout）

过拟合：当模型处于过拟合状态时，根本的办法是降低模型复杂度。

修改模型架构（减小模型规模）

及早停止迭代

减少特征数量

提高模型正则化水平

 扩大训练集：可以帮助解决方差问题，但对偏差通常没有明显影响

Bagging的个体弱学习器的训练集是通过随机采样得到的。通过T次的随机采样，我们就可以得到T个采样集，对于这T个采样集，我们可以分别独立的训练出T个弱学习器，再对这T个弱学习器通过集合策略来得到最终的强学习器。

Boosting算法的工作机制是首先从训练集用初始权重训练出一个弱学习器1，根据弱学习的学习误差率表现来更新训练样本的权重，使得之前弱学习器1学习误差率高的训练样本点的权重变高，使得这些误差率高的点在后面的弱学习器2中得到更多的重视。然后基于调整权重后的训练集来训练弱学习器2.，如此重复进行，直到弱学习器数达到事先指定的数目T，最终将这T个弱学习器通过集合策略进行整合，得到最终的强学习器。　

同质的个体学习器，低偏差高方差，用并行方法结合成的 bagging

同质的个体学习器，高偏差低方差，用序列方法结合成的 boosting

异质的个体学习器，低偏差高方差，用分堆方法结合成的 stacking

1 梯度消失:导致神经网络中前面层的权重矩阵无法得到更新，最终导致训练失败。

2 梯度爆炸:导致网络中的权重权重获得大幅度更新，造成学习过程不稳定，最坏的结果是由于结果溢出(即权重值为NaN)而无法更新参数。