深度学习基础知识的理解
Lzj000lzj
这个作者很懒,什么都没留下…
展开
-
过拟合与droupout
过拟合与欠拟合都与模型的复杂度是相关的,即模型的复杂度较高时容易出现过拟合,模型复杂度较低时容易出现欠拟合。防止过拟合的方式dropout由于是随机丢弃神经元,所以每个mini-batch训练的网络都是不同的。当将一半的神经元失活,对保留的神经元进行梯度下降,这一过程就是使用保留的网络结构对数据进行学习;第二次迭代时,继续使用保留的网络结构进行学习,比如说500次,这种固定的网络结构就可...转载 2019-05-27 11:35:23 · 799 阅读 · 0 评论 -
模型集成
集成模型可以提高算法的准确性和鲁棒性bootstrappingbootstrap方法是指的随机抽样和替换,即重采样,是的模型可以理解重采样中存在的偏差方差和特征baggingbagging生成一个预测器的多个版本,并使用这些版本获得一个聚合预测器。当进行分类时,多个模型进行投票。当进行回归分析时,多个模型进行平均。各个模型的权重相同bagging的重点是获得一个方差较低的集成模...转载 2019-05-31 18:08:54 · 231 阅读 · 0 评论