线性判别函数的多分类情况
线性判别函数的多分类情况_winycg的博客-CSDN博客_多分类判别函数
自信息和互信息、信息熵
机器学习中的判别式模型和生成式模型//写的很好
SVM从原始问题到对偶问题的转换及原因
SVM从原始问题到对偶问题的转换及原因_xiaocong1990的博客-CSDN博客_对偶问题与原问题转换
Bagging可以降低模型方差/Boosting可以降低模型偏差
验证集和训练集的误差值都很大,偏差大,此时为欠拟合 //表现
训练集误差非常小,但验证集误差远大于训练集误差,此时为过拟合 //表现
欠拟合:当模型处于欠拟合状态时,根本的办法是增加模型复杂度。
修改模型架构(增大模型规模)
增加模型的迭代次数
更多特征
降低模型正则化水平(L2、L1、Dropout)
过拟合:当模型处于过拟合状态时,根本的办法是降低模型复杂度。
修改模型架构(减小模型规模)
及早停止迭代
减少特征数量
提高模型正则化水平
扩大训练集:可以帮助解决方差问题,但对偏差通常没有明显影响
Bagging的个体弱学习器的训练集是通过随机采样得到的。通过T次的随机采样,我们就可以得到T个采样集,对于这T个采样集,我们可以分别独立的训练出T个弱学习器,再对这T个弱学习器通过集合策略来得到最终的强学习器。
Boosting算法的工作机制是首先从训练集用初始权重训练出一个弱学习器1,根据弱学习的学习误差率表现来更新训练样本的权重,使得之前弱学习器1学习误差率高的训练样本点的权重变高,使得这些误差率高的点在后面的弱学习器2中得到更多的重视。然后基于调整权重后的训练集来训练弱学习器2.,如此重复进行,直到弱学习器数达到事先指定的数目T,最终将这T个弱学习器通过集合策略进行整合,得到最终的强学习器。
同质的个体学习器,低偏差高方差,用并行方法结合成的 bagging
同质的个体学习器,高偏差低方差,用序列方法结合成的 boosting
异质的个体学习器,低偏差高方差,用分堆方法结合成的 stacking
1 梯度消失:导致神经网络中前面层的权重矩阵无法得到更新,最终导致训练失败。
2 梯度爆炸:导致网络中的权重权重获得大幅度更新,造成学习过程不稳定,最坏的结果是由于结果溢出(即权重值为NaN)而无法更新参数。