- Deep Convolutional Neural Networks On Multichannel Time
Series
For Human Activity Recognition
2.dropout
问题:模型的参数太多,而训练样本又太少——容易出现过拟合
1.dropout
大规模神经网络通病:1.费时 2.过拟合
为了解决过拟合问题,一般会采用ensemble方法,即训练多个模型做组合,此时,费时就成为一个大问题,不仅训练起来费时,测试起来多个模型也很费时。
因而,对于一个有N个节点的神经网络,有了dropout后,就可以看做是2n个模型的集合了,但此时要训练的参数数目却是不变的,这就解脱了费时的问题。
为什么dropout能解决过拟合问题:
1.动机论
dropout它能强迫一个神经单元,和随机挑选出来的其他神经单元共同工作,达到好的效果。消除减弱了神经元节点间的联合适应性,增强了泛化能力(类比基因的自由组合和无性繁殖)
那就是植物和微生物大多采用无性繁殖,因为他们的生存环境的变化很小,因而不需要太强的适应新环境的能力,所以保留大段大段优秀的基因适应当前环境就足够了。而高等动物却不一样,要准备随时适应新的环境,因而将基因之间的联合适应性变成一个一个小的,更能提高生存的概率