卷积神经网络 (convolutional neural network,CNN)的演进从 LeNet 到 AlexNet,再到 VggNet、GoogLeNet,最后到 ResNet,演进的方式有一定规律,并且也在 ImageNet LSVRC 竞赛上用 120万张图片、1000 类标记上取得了很好的成绩。循环神经网络(recurrent neural networks,RNN)的演进从 Vanilla RNN 到隐藏层结构精巧的 GRU 和 LSTM,再到双向和多层的 Deep BidirectionalRNN。本章主要介绍这些神经网络模型的结构和演化脉络,并且尝试用 TensorFlow 去构建这些网络,为读者将来自己设计网络或者根据读到的论文构建网络模型打下基础。
6.1 卷积神经网络