1.Boosting
对于训练集中的每个样本建立权值wi，表示对每个样本的权重， 其关键在与对于被错误分类的样本权重会在下一轮的分类中获得更大的权重。
同时加大分类误差概率小的弱分类器的权值，使其在表决中起到更大的作用，减小分类误差率较大弱分类器的权值，使其在表决中起到较小的作用。
2.Bagging
对原始样本进行划分，使得多个模型在互不相同的数据上进行训练，同时与彼此模型之间进行参数共享，实现高度正则化。Dropout可以看作是一种极端的Bagging。
3.主成分分析法（PCA）
PCA提取的是数据分布方差较大的方向，不可能拥有提取特征，类似隐藏层的能力。
4.批归一化（Batch Normalization）
让每一层的输入的范围都大致固定，好处是能够一定程度避免过拟合，加强泛化能力。
5.过拟合（overfitting）
解决过拟合的方法：正则化、数据增强、批归一化、Dropout、减少训练时长。
6.动量项（momentum）
动量法依赖指数加权移动平均使得自变量的更新方向更加一致，从而降低发散的可能。动量项能够减少目标函数的振荡趋势，加速收敛。
7.Adagrads
Adagrads使用一阶差分动态调整每个参数的学习率。
8.L-BFGS
L-BFGS使用二阶差分逼近牛顿法所需的海瑟矩阵，用于梯度下降。
9.BPTT
同普通BP算法不同，BPTT在每个时间步长内要叠加所有队员权重的梯度。
10.梯度裁剪
当出现梯度过大导致的损失函数趋近于无穷时，梯度裁剪使得权重的梯度限制在一个合适的范围。
11.Dropconnect
与Dropout不同的是，dropout过程中神经元失活，使得神经元的输入和输出的权重都无效。dropconnect过程中神经元之间的连接被失活，使得神经元的输入权重和输出权重的两者之一失效。
12.Xavier
一种常用的神经网络权重初始化方法，初始化由高斯分布引出，可以帮助减少梯度弥散问题。
未完待续...
扫一扫
1万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
