【Keras-AlexNet】CIFAR-10

最新推荐文章于 2024-09-20 20:52:15 发布
最新推荐文章于 2024-09-20 20:52:15 发布
阅读量4.7k 收藏 27
点赞数 4
分类专栏： PyTorch/Keras/Caffe/TensroFlow 文章标签： Keras tensorboard AlexNet
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/bryant_meng/article/details/86527282
版权

系列连载目录

  • 请查看博客 《Paper》 4.1 小节 【Keras】Classification in CIFAR-10 系列连载

学习借鉴

参考

代码

硬件

  • TITAN XP

文章目录

1 理论基础

在这里插入图片描述

2 AlexNet 代码实现

2.1 alexnet

1）导入库，设置好超参数

import os  
os.environ["CUDA_DEVICE_ORDER"]="PCI_BUS_ID"   
os.environ["CUDA_VISIBLE_DEVICES"]="1" 

import keras
from keras.datasets import cifar10
from keras import backend as K
from keras.layers import Input, Conv2D, GlobalAveragePooling2D, Dense, BatchNormalization, Activation, MaxPooling2D
from keras.models import Model
from keras.layers import concatenate,Dropout,Flatten

from keras import optimizers,regularizers
from keras.preprocessing.image import ImageDataGenerator
from keras.initializers import he_normal
from keras.callbacks import LearningRateScheduler, TensorBoard, ModelCheckpoint

num_classes        = 10
batch_size         = 64         # 64 or 32 or other
epochs             = 300
iterations         = 782       
DROPOUT=0.5 # keep 50%
CONCAT_AXIS=3
weight_decay=1e-4
DATA_FORMAT='channels_last' # Theano:'channels_first' Tensorflow:'channels_last'
log_filepath  = './alexnet'

2）数据预处理并设置 learning schedule

def color_preprocessing(x_train,x_test):
    x_train = x_train.astype('float32')
    x_test = x_test.astype('float32')
    mean = [125.307, 122.95, 113.865]
    std  = [62.9932, 62.0887, 66.7048]
    for i in range(3):
        x_train[:,:,:,i] = (x_train[:,:,:,i] - mean[i]) / std[i]
        x_test[:,:,:,i] = (x_test[:,:,:,i] - mean[i]) / std[i]
    return x_train, x_test

def scheduler(epoch):
    if epoch < 100:
        return 0.01
    if epoch < 200:
        return 0.001
    return 0.0001

# load data
(x_train, y_train), (x_test, y_test) = cifar10.load_data()
y_train = keras.utils.to_categorical(y_train, num_classes)
y_test  = keras.utils.to_categorical(y_test, num_classes)
x_train, x_test = color_preprocessing(x_train, x_test)

3）搭建网络
在这里插入图片描述
https://engmrk.com/alexnet-implementation-using-keras/

def alexnet(img_input,classes=10):
    x = Conv2D(96,(11,11),strides=(4,4),padding='same',
               activation='relu',kernel_initializer='uniform')(img_input)# valid
    x = MaxPooling2D(pool_size=(3,3),strides=(2,2),padding='same',data_format=DATA_FORMAT)(x)
    
    x = Conv2D(256,(5,5),strides=(1,1),padding='same',
               activation='relu',kernel_initializer='uniform')(x)
    x = MaxPooling2D(pool_size=(3,3),strides=(2,2),padding='same',data_format=DATA_FORMAT)(x)
    
    x = Conv2D(384,(3,3),strides=(1,1),padding='same',
               activation='relu',kernel_initializer='uniform')(x) 
    
    x = Conv2D(384,(3,3),strides=(1,1),padding='same',
               activation='relu',kernel_initializer='uniform')(x) 
    
    x = Conv2D(256,(3,3),strides=(1,1),padding='same',
               activation='relu',kernel_initializer='uniform')(x)
    x = MaxPooling2D(pool_size=(3,3),strides=(2,2),padding='same',data_format=DATA_FORMAT)(x)
    x = Flatten()(x)
    x = Dense(4096,activation='relu')(x)
    x = Dropout(0.5)(x)
    x = Dense(4096,activation='relu')(x)
    x = Dropout(0.5)(x)
    out = Dense(classes, activation='softmax')(x)
    return out

4）生成模型

img_input=Input(shape=(32,32,3))
output = alexnet(img_input)
model=Model(img_input,output)
model.summary()

参数量如下（还是相当恐怖的）：

Total params: 21,622,154
Trainable params: 21,622,154
Non-trainable params: 0

5）开始训练

# set optimizer
sgd = optimizers.SGD(lr=.1, momentum=0.9, nesterov=True)
model.compile(loss='categorical_crossentropy', optimizer=sgd, metrics=['accuracy'])

# set callback
tb_cb = TensorBoard(log_dir=log_filepath, histogram_freq=0)
change_lr = LearningRateScheduler(scheduler)
cbks = [change_lr,tb_cb]

# set data augmentation
datagen = ImageDataGenerator(horizontal_flip=True,
                             width_shift_range=0.125,
                             height_shift_range=0.125,
                             fill_mode='constant',cval=0.)
datagen.fit(x_train)

# start training
model.fit_generator(datagen.flow(x_train, y_train,batch_size=batch_size),
                    steps_per_epoch=iterations,
                    epochs=epochs,
                    callbacks=cbks,
                    validation_data=(x_test, y_test))
model.save('alexnet.h5')

6）结果分析
training accuracy 和 training loss
在这里插入图片描述在这里插入图片描述
test accuracy 和 test loss
在这里插入图片描述在这里插入图片描述
loss 和 accuracy 一个样，正宗的耐克标志！超级过拟合，fully connection 果然名不虚传

2.2 alexnet_slim

将 AlexNet 中 第一个卷积和第一个 maxpooling 用一个 filters = 96，size = 3，stride = 1 的 convolution 来替代。AlexNet 原有 5 次 downsampling 的过程，这样操作的话，只有后面 2次了，这么做的原因是 imagenet 和 cifar-10 图片的 resolution 的差别！

x = Conv2D(96,(3,3),strides=(1,1),padding='same',
           activation='relu',kernel_initializer='uniform')(img_input)# valid

其它部分代码同 alexnet

参数量如下（增加了挺多的）：

Total params: 87,650,186
Trainable params: 87,650,186
Non-trainable params: 0

  • alexnet
    Total params: 21,622,154

因为 down sampling 的次数少了3次，最后接 fc 层 的feature map 的 resolution 会大 8×8倍，而且 CNN 的参数量大多都集中在 fc 层的结构，所以参数量变多了可想而知！ 叫 slim 的原因是缩减了一些 down sampling 层，如果是全卷积网络，参数量会减少或者不变！

test accuracy 和 test loss
在这里插入图片描述
在这里插入图片描述
美滋滋，90%+了，可是还是有一定的过拟合现象！

2.3 alexnet_slim_regular

在 alexnet_slim 的基础上，修改网络的初始化策略为 he_normal，增加 l2 regularization，配合 weight decay，修改每个卷积如如下形式：

x = Conv2D(96,(3,3),strides=(1,1),padding='same',
           activation='relu',kernel_initializer='he_normal',kernel_regularizer=regularizers.l2(weight_decay))(img_input)# valid

其它代码同 alexnet_slim

参数量如下（不变）：

Total params: 87,650,186
Trainable params: 87,650,186
Non-trainable params: 0

  • alexnet
    Total params: 21,622,154
  • alexnet_slim
    Total params: 87,650,186

结果分析如下
training accuracy 和 training loss
在这里插入图片描述 在这里插入图片描述 在这里插入图片描述
在这里插入图片描述
test accuracy 和 test loss
在这里插入图片描述 在这里插入图片描述 在这里插入图片描述
在这里插入图片描述
精度上到了 92%，过拟合现象得到了缓解
在这里插入图片描述

2.4 alexnet_thinner

alexnet_thinner_2 在 alexnet_slim_regular 的基础上，将网络所有的 filters number 改为原来的 1/2，包括 fully connection，
alexnet_thinner_4 在 alexnet_slim_regular 的基础上，将网络所有的 filters number 改为原来的 1/4，包括 fully connection。

其它代码同 alexnet_slim_regular

参数量如下：

  • alexnet
    Total params: 21,622,154

  • alexnet_slim
    Total params: 87,650,186

  • alexnet_slim_regular
    Total params: 87,650,186

  • alexnet_thinner_2
    Total params: 6,074,250

  • alexnet_thinner_4
    Total params: 5,488,106

结果分析如下
train accuracy 和 train loss
在这里插入图片描述
test accuracy 和 test loss
在这里插入图片描述
对比来看，thinner_2 模型比较大，有些过拟合了，thinner_4 模型较小，后面loss 没有上升的迹象，直觉上的感觉是 convolution 和 fc 要相匹配，convolution 过小，fc 过大，则会过拟合，相匹配会好一些（可能 hyper parameters 不是最优，所以结论并不靠谱）！

3 总结

精度最高的是 alexnet_slim_regular

模型大小
在这里插入图片描述

参数量

  • alexnet
    Total params: 21,622,154

  • alexnet_slim
    Total params: 87,650,186

  • alexnet_slim_regular
    Total params: 87,650,186

  • alexnet_thinner_2
    Total params: 6,074,250

  • alexnet_thinner_4
    Total params: 5,488,106

bryant_meng
关注
专栏目录
Keras CIFAR-10图像分类 AlexNet篇
风信子的猫Redamancy的快乐星球
08-31 5364
AlexNet 结构： 输入层：图像大小为 227×227×3，其中 3 表示输入图像的 channel 数（R，G，B）为 3。 卷积层：filter 大小 11×11，filter 个数 96，卷积步长 s=4。（filter 大小只列出了宽和高，filter矩阵的 channel 数和输入图片的 channel 数一样，在这里没有列出） 池化层：max pooling，filter 大小 3×3，步长 s=2。 卷积层：filter 大小 5×5，filter 个数 256，步长 s=1，......
实战LeNet-5 AlexNet ResNet 实践 Cifar-10问题
pengdali的专栏
12-30 4325
一、Cifar-10的说明cifar10是一个32*32 的图像10分类问题，一共有60000张图片，我们拿50000张做训练数据，另外拿2000张做测试数据。 为了学习不同网络，这里统一拿这个用作实验材料，关于下载cifar10，或更多说明可以查看官网CIFAR-10二、LeNet5模型 如图所示这个模型就是2个卷积、池化，再连3个全连接 第一个卷积层6个大小为5＊5卷积核，第二卷积层为
【Keras-AlexNet】CIFAR-10-附件资源
03-02
【Keras-AlexNet】CIFAR-10-附件资源
用keras复现AlexNet
qq_41078023的博客
03-31 451
首先，我们用keras复现一下AlexNet的模型结构： from keras.models import Sequential from keras.layers import Input,Dense,Conv2D,MaxPooling2D,UpSampling2D,Dropout,Flatten from keras.layers import Dropout model = Sequent...
CIFAR-10 / CIFAR-100 数据集下载指南：深度学习研究的利器
最新发布
gitblog_06519的博客
09-20 940
CIFAR-10 / CIFAR-100 数据集下载指南：深度学习研究的利器 项目地址:https://gitcode.com/Resource-Bundle-Collection/735ef 项目介绍 在深度学习和机器学习领域，数据集的质量和多样性对于模型的训练和评估至关重要。CIFAR-10和CIFAR-100数据集作为计算机视觉领域中常用的图像分类数据集，广泛应用于各种研究项目中。本仓库旨在...
修改版Alexnet模型训练CIFAR10数据集程序的总结
John_kai的博客
05-27 3920
关于CIFAR10程序的一些经验总结 在卷积层和全连接层中，设置权重和偏置时，推荐使用tf.get_variable()函数，好处是参数可重复使用，减小内存的占用，而且如果是导入别人的参数进行训练时，必须使用tf.get_variable()。 为了用tensorboard画出图来，在给每一层命名时，通常采用with tf.variable_scope('名字') as scope，tf.name_
caffe学习笔记5 -- Alex’s CIFAR-10 tutorial, Caffe style
thystar的专栏
04-12 2736
这是caffe官网中Examples中的第三个例子，链接地址：http://caffe.berkeleyvision.org/gathered/examples/cifar10.html 这个例子重现了Alex Krizhevsky的cuda-convnet中的结果，具体的模型定义、参数、训练步骤等都是按照cuda-convnet中的进行设置的。 数据集描述：CIFAR
cifar
qk61508的博客
06-15 308
用Quadro M4000跑了大概2分钟 理解
图像识别数据集-cifar-10-batches-py.zip
01-01
CIFAR-10数据集是计算机视觉领域中一个广泛使用的图像识别基准，它由Alex Krizhevsky、Vinod Nair和Geoffrey Hinton等人创建，主要用于训练和评估机器学习模型，尤其是深度学习模型。这个数据集的名字"CIFAR"是...
CIFAR
miya1028的博客
05-16 1217
"""CIFAR-10,60000张32*32的彩色图像，训练集5，0000张，测试集1，0000张，标注为10类 每一类图片6000张，airplane.automobile.bird.cat.deer.dog.frog.horse.ship.truck trick1: 对weights L2正则化 trick2: 对图片进行了翻转。随机剪切等数据增强，制造了更多样本 trick3: 在每个卷积...
AlexNet_kerasalexnet_keras_深度学习_alexnet_CNN_
10-01
基于keras框架的深度学习经典网络AlexNet。适用于深度学习初学者
AlexNet Keras预训练模型-附件资源
03-05
AlexNet Keras预训练模型-附件资源
keras_cifar10_resnet分类例子
01-28
keras_cifar10_resnet分类例子，深度学习专用，代码简单，
Alexnet Keras实现
weixin_47289438的博客
01-03 344
import pickle import numpy as np import matplotlib.pyplot as plt from keras.models import Sequential,Model from keras.layers import Dropout, Dense, Conv2D, Flatten, MaxPooling2D, Input from keras.callbacks import ModelCheckpoint from keras import utils #
Keras 实现AlexNet
qq_41559533的博客
11-04 6179
from keras.models import Sequential from keras.layers import Dense, Flatten, Dropout from keras.layers.convolutional import Conv2D, MaxPooling2D from keras.utils.np_utils import to_categorical import ...
keras实现AlexNet
weixin_45741673的博客
12-12 602
输入必须得是227x227x3 model = Sequential() model.add(Convolution2D(96, (11, 11), strides=(4, 4), input_shape = (227,227,3), activation='relu')) model.add(BatchNormalization())##keras没有局部归一化，所以用这个代替 model.a...
keras搬砖系列-AlexNet
Cutepingping的博客
01-09 1030
AlexNet小结 AlexNet是比较基本的线型网络。 网络结构： 统共分为8层，前五层为卷积层，后三层为全连接层。 前五层卷积层分别为：(96，(11,11)),(256,(5,5)),(384,(3,3)),(384,(3,3)),(256,(3,3)) keras代码： # -*- coding: utf-8 -*- """ Created on Tue Jan 9
CiFAR介绍
热门推荐
实践求真知
05-12 1万+
CIFAR是由Alex Krizhevsky、Vinod Nair和Geoffrey Hinton收集而来，起初的数据集共分10类，分别为飞机、汽车、鸟、猫、鹿、狗、青蛙、马、船、卡车，所以CIFAR数据集常以CIFAR-10命名。CIFAR共包含60000张32*32的彩色图像（包含50000张训练图片，10000张测试图片），其中没有任何类型重叠的情况。因为是彩色图像，所以这个数据集是三通道的...
利用alexnet训练cifar10数据集来生产epoch图
05-27
好的，我理解了您的问题。不过需要先了解一下，AlexNet是一种用于图像分类的卷积神经网络，而CIFAR-10是一个包含10个类别的图像分类数据集。因此，我们需要使用AlexNet对CIFAR-10进行训练，然后再利用训练好的模型生成epoch图。 以下是利用AlexNet训练CIFAR-10数据集并生成epoch图的步骤： 1. 准备数据集 首先，我们需要下载并准备CIFAR-10数据集。您可以从该链接（https://www.cs.toronto.edu/~kriz/cifar.html）下载CIFAR-10数据集。 2. 构建AlexNet模型 我们需要构建一个AlexNet模型来对CIFAR-10数据集进行训练。您可以使用Keras或PyTorch等深度学习框架来构建AlexNet模型。 3. 训练模型 使用准备好的CIFAR-10数据集和构建好的AlexNet模型，我们可以开始训练模型。在训练过程中，我们可以记录每个epoch的训练损失和准确率。 4. 生成epoch图 最后，我们可以利用记录的每个epoch的训练损失和准确率数据来生成epoch图。您可以使用matplotlib等绘图库来生成图表。 需要注意的是，由于CIFAR-10数据集相对较小，因此我们可能只需要训练几个epoch即可得到合理的结果。另外，为了避免过拟合，我们可以使用一些正则化技术，如dropout和L2正则化等。
评论 13
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值