keras构建特定结构的CNN

CNN概述

CNN(Convolutional Neural Networks)简单说来，就是在多层感知器(MLP)前面，加上一个或多个卷积层。
* MLP负责做神经网络的运算
* 卷积层负责做特征提取
所以用了CNN，就免去了提取特征的麻烦。图像处理中可以直接把图像送给CNN，不需要提前提取图像中的特征。
目前已有的定论，CNN在数字识别领域，是识别率最高的[2]。

keras概述

keras是python的一个神经网络库，用于实现CNN，好用且易用。

构建CNN

根据[3]，发现目前用CNN来做数字图像识别是识别率最高的。文章中CNN的结构，都用这样一种方式来描述：
* 120C5-MP2-200C3-MP2-200N-10N
* 20C4-MP2-40C5-MP3-150N-10N
* 6C5-MP2-16C5-MP2-120N-84N-10N
这是什么意思呢？
以 120C5-MP2-200C3-MP2-200N-10N 为例。这里的120C5是卷积层Convolution2D的参数，MP2是MaxPooling层的参数，200N是Full connect层参数，10N是输出层参数（有多少类别就是多少N）。

实现120C5-MP2-200C3-MP2-200N-10N

github上的完整源码

model = Sequential()

# Layer 1
model.add(Convolution2D(120, 5, 5,
                        border_mode='valid',
                        input_shape=(1, 28, 28)))
model.add(Activation('relu'))
model.add(MaxPooling2D(pool_size=(2, 2)))

# Layer 2
model.add(Convolution2D(200, 3, 3))
model.add(Activation('relu'))
model.add(MaxPooling2D(pool_size=(2, 2)))

# Full connect
model.add(Flatten())
model.add(Dense(200))
model.add(Activation('relu'))
model.add(Dropout(0.5))

# Output
model.add(Dense(10))
model.add(Activation('softmax'))

model.compile(loss='categorical_crossentropy', optimizer=Adam(lr=1e-4))

实现6C5-MP2-16C5-MP2-120N-84N-10N

github上的完整源码

model = Sequential()

# Layer 1
model.add(Convolution2D(6, 5, 5,
                        border_mode='valid',
                        input_shape=(1, 28, 28)))
model.add(Activation('relu'))
model.add(MaxPooling2D(pool_size=(2, 2)))

# Layer 2
model.add(Convolution2D(16, 5, 5))
model.add(Activation('relu'))
model.add(MaxPooling2D(pool_size=(2, 2)))

# Full connect
model.add(Flatten())
model.add(Dense(120))
model.add(Activation('relu'))

model.add(Dense(84))
model.add(Activation('relu'))
model.add(Dropout(0.5))

# Output
model.add(Dense(10))
model.add(Activation('softmax'))

参考

• [1] Le-Net结构，http://deeplearning.net/tutorial/lenet.html#the-full-model-lenet
• [2] 手写数字识别研究综述，http://blog.csdn.net/ybdesire/article/details/52197858
• [3] 手写数字识别在MNIST数据集上的研究进展，http://yann.lecun.com/exdb/mnist/