可视化理解深度神经网络

#andrew ng课程学习笔记

深度神经网络究竟在做什么？
（1）浅层的网络对线条和颜色等比较敏感，容易被一些特定区域激活。

（2）在深层中，会看到一个图片更大的部分。在极端情况下，可以假设每一个像素都会影响到神经网络更深层的输出，背后的掩藏单元可以看到更大的隐藏块。
在第二层中，标出的两个红框代表了最大化激活隐藏单元的两个图片块。这个可视化展示了最大化激活第二层的9个图片块。每个块又有9个图片块，使得隐藏单元有较大的输出，或者说较大的激活。

（3）在更深的层上，可以重复这个过程。

在第一层上，似乎是在检测线条

第二层，关注下红色框部分，分别在检测条纹、圆形和很细的线。第二层检测的特征，更加复杂。

第三层检测到了更大的部分，红色框部分分别被左下角的圆形物体和人激活了。

第四层检测的更加复杂，左上角变成了一个狗狗检测器。

第五层，关注下右下角，也变成了一个狗狗检测器，但是检测到的狗更加具有多样性。

现在的神经网络多大几十几百层，甚至有1000层的。不过神经网络并不是越深越好。层数太多也会给梯度下降带来问题。