2020-5-22 吴恩达-改善深层NN-w1 深度学习的实用层面(1.7 理解 Dropout--压缩权重/分层设置keep-prob)

1.视频网站：mooc慕课https://mooc.study.163.com/university/deeplearning_ai#/c
2.详细笔记网站(中文)：http://www.ai-start.com/dl2017/
3.github课件+作业+答案：https://github.com/stormstone/deeplearning.ai

Dropout可以随机删除网络中的神经单元，他为什么可以通过正则化发挥如此大的作用呢？

上一节课已经介绍过，Dropout可以随机删除网络中的神经单元，每次迭代后，NN都比以前更小。采用一个较小的NN和使用正则化的效果是一样的。

1.单个神经元实施Dropout

我们从单个神经元入手。

如上图，这个单元的工作就是输入并生成一些有意义的输出。
现在通过dropout，该单元的输入几乎被消除，有时这两个单元会被删除，有时会删除其它单元。