1. Deep CNN 学习笔记 2.dropout学习

1. Deep Convolutional Neural Networks On Multichannel Time
   Series

For Human Activity Recognition

2.dropout

问题：模型的参数太多，而训练样本又太少——容易出现过拟合

1.dropout

大规模神经网络通病：1.费时 2.过拟合

为了解决过拟合问题，一般会采用ensemble方法，即训练多个模型做组合，此时，费时就成为一个大问题，不仅训练起来费时，测试起来多个模型也很费时。

因而，对于一个有N个节点的神经网络，有了dropout后，就可以看做是2n个模型的集合了，但此时要训练的参数数目却是不变的，这就解脱了费时的问题。

为什么dropout能解决过拟合问题:

1.动机论

dropout它能强迫一个神经单元，和随机挑选出来的其他神经单元共同工作，达到好的效果。消除减弱了神经元节点间的联合适应性，增强了泛化能力（类比基因的自由组合和无性繁殖）

那就是植物和微生物大多采用无性繁殖，因为他们的生存环境的变化很小，因而不需要太强的适应新环境的能力，所以保留大段大段优秀的基因适应当前环境就足够了。而高等动物却不一样，要准备随时适应新的环境，因而将基因之间的联合适应性变成一个一个小的，更能提高生存的概率

                   输出缩减0&