深度学习入门第八章----深度学习

8.1 加深网络

8.1.1 向更深的网络出发

        现在创建一个如下图所示的网络结构的CNN，这里使用的卷积层全都是3×3的小型滤波器，特点是随着层的加深，通道数变大（卷积层的通道数从前面的层开始按顺序以16、16、32、32、64的方式增加）。插入了池化层以逐渐减小中间数据的大小。

        使用He初始值作为权重的初始值，使用Adam更新权重参数。上述网络的特点是：基于3×3的小型滤波器的卷积层。激活函数是ReLU。全连接层的后面使用Dropout层。基于Adam的最优化。使用He初始值作为权重初始值。

8.1.2 进一步提高识别精度

8.1.3 加深层的动机

        加深层的好处是：可以减少网络的参数数量，即可以用更少的参数达到同等或者更强的表现力。

        叠加小型滤波器来加深网络的好处是可以减少参数的数量，扩大感受野（receptive field，给神经元施加变化的某个局部空间区域）。并且，通过叠加层，将ReLU等激活函数夹在卷积层的中间，进一步提高了网络的表现力。这是因为向网络添加了基于激活函数的“非线性”表现力，通过非线性函数的叠加，可以表现更加复杂的东西。

        加深层的另一个好处是使学习更加高效，与没有加深层的网络相比，加深层可以减少学习数据，从而高效学习。加深网络可以分层次分解所需要学习的问题。

8.2 深度学习的小历史

8.3 深度学习的高速化

8.4 深度学习的应用案例

8.5 深度学习的未来

8.6 小结