AlexNet创新:
1.成功使用RELU作为CNN的激活函数。
2.训练中使用dropout随机忽略一部分神经元,避免模型过拟合
3.提出局部响应归一化层(LRN),逐渐被Batch Nomalization(BN)代替
4.使用cuda加速神经网络训练
5.数据增强
Alexnet实现过程
输入层
中间操作(卷积+池化)
输出层
代码实现要用到的内容input(输入的内容),conv2d(卷积核),max_pooling2d(最大池化),flatten(拉伸矩阵成为列向量)dense(全连接层)
以上参数使用说明
a=Conv2D(96,[11,11],strides=[4,4],padding=same,activation=‘relu’)(x)
以上代表的卷积核的大小是1111的矩阵,数量是96,水平和竖直的滑动距离是4,激活函数是relu。padding是规定了卷积的类型
a=MaxPooling2D([3,3],strides=[2,2])(x),以上代表池化的面积是33的大小,滑动的水平和垂直距离是2,
Dense(4096,activation=‘relu’)(x)表示全连接为4096,激活函数为relu