神经网络架构演变过程

博主现在已经研一了，过了个暑假，好像把所有东西都忘记的差不多了，所以先复习一遍。具体打算是：

1. 卷积神经网络架构（1天）
2. 目标检测（3天）
3. 语义分割（1周，之前没怎么接触过）
4. 着手看点做点工程项目
5. 学一遍computer vision传统方法（主要是看prml，今天刚买，估计要几天才能到，这个和1/2/3不冲突，可以并行）
6. 刷LeetCode（鉴于现在算法岗越来越激烈，还是要做好毕业开发岗的心理准备，并行）
7. 英语听说读写（希望有人一起啊，互相监督，有的话请可以私聊qq:894525124)

好，下面开始正题。由于是复习，所以可能会写的比较简略，本片博文不是针对初学者的。

一、开山之作：LeNet

定义了CNN的最基本的架构：卷积层、池化层、全连接层。
该网络使用的方式是：conv1->pool->conv2->pool2再接全连接层。并且在进行卷积操作的时候，不需要进行padding，并且在max pooling之前没有relu操作，而且卷积核都相对较大，是5*5的。