dropout层

做分类的时候，全连接层加dropout层，防止过拟合，提升模型泛化能力。卷积层由于卷积参数少，不易过拟合，不怎么后接Dropout 。CNN在最后的全连接层使用dropout，RNN一般在不同层循环结构体之间使用dropout, 而不在同一层的循环结构之间使用。dropout的直接作用是减少中间特征的数量，从而减少冗余，经过交叉验证，隐含节点dropout率等于0.5的时候效果最好， 训练时对于神经网络单元，按照一定的概率将其暂时从网络中丢弃（强迫一个神经单元，和随机挑选出来的其他神经单元共同工作，达到好的效果。消除减弱了神经元节点间的联合适应性，增强了泛化能力）。对于一个有N个节点的神经网络，dropout后训练的参数数目不变，省时。