一、网络结构
模型采用Keras中的序列模型实现,共六层,前三层为卷积层,四五层为全连接层,第六层为softmax输出层。卷积层核数量分别为32@5x5、32@5x5、64@5x5,全连接层节点数为1024和256,输出层为节点数为10。如附图1所示。
二、激活函数
Keras中内置激活函数有Sigmoid、tanh、relu、softmax等等,可直接用activation=‘relu’实现;高级激活函数有LeakyRelu、PRelu、ELU、ThresholdedRelu,需import advance_activation实现。本模型采用LeakeyRelu函数,参数为0.2。
三、权重初始化
参考Xavier Glorot(2010)和Kaiming He(2015),采用He(2015)的方法,即初始参数由0均值,标准差为sqrt(2 / n) 的正态分布产生,n为