dropout

dropout有一个参数p，p的取值介于0和1，含义是每个节点有p概率被抛弃。

被抛弃对这个节点有什么影响呢？dropout对于节点的影响表现在，一旦某个节点被选定为抛弃的节点，那么对于神经网络的forward过程这个节点的输出就被置为0；对于backward过程，这个节点的权重和偏置不参与更新。也就是说，在某次迭代中，网络中有部分节点不参与这一次的训练，整个网络结构等效于下图右侧（左侧是dropout前的）。

参考：
https://blog.csdn.net/qq_22703205/article/details/81456168

注意： 经过上面屏蔽掉某些神经元，使其激活值为0以后，我们还需要对向量y1……y1000进行缩放，也就是乘以1/(1-p)。（为了保证隐藏层输出的期望不变）

防止过拟合的原因：
1.取平均的作用
2.减少神经元之间的共适应关系，防止过于依赖某些神经元或者特征。
参考：
https://blog.csdn.net/program_developer/article/details/80737724