典型的CNN架构

典型的CNN架构：
图像先进行多层卷积层（每个卷积层后一个接relu层和一个池化层）处理后输入给全连接神经网络层和relu层最后是输出层Softmax层输出预测的类概率，卷积层的卷积核过大会增加权重值的计算量卷积后的结果与小卷积核结果可能一致

图像模型评估：
top-five错误率是测试图片系统判断前5个类别预测都没有包含正确答案的数量，由于CNN模型的出现，错误率从26%降到了3%

经典模型：
LeNet-5架构（1998年）、AlexNet（2012年）、GoogLeNet（2014年，加深层次）、ResNet（2015年，层次循环）

LeNet-5架构：
最知名的CNN架构，Yann LeCun在1998年创建，用于MNIST手写体识别

使用均值池化，
C3层没有全连接C2池化层，最后一层使用欧拉距离测量输入向量和对应权值向量距离（一般用交叉熵，惩罚错误的预测）
Dropout：
在深度学习中，防止过拟合最常用的正则化技术，即使在顶尖水准的神经网络中也可以带来1%到2%的准确度提升，如果模型已经有了95%的准确率，获得2%的准确率提升意味着降低错误率大概40%，即从5%的错误率降低到3%的错误率，在每一次训练step中，每个神经元包括输入神经元不包括输出神经元有一个概率被临时的丢掉即将被忽视在整个这次训练step中，有可能下次再