深度学习_AlexNet_2

已于 2024-03-21 09:23:54 修改
阅读量1.1k 收藏 23
点赞数 9
分类专栏： 深度学习与CV 文章标签： 深度学习 人工智能
于 2024-03-11 23:14:05 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_60657960/article/details/136638103
版权

目标

  • 知道AlexNet网络结构
  • 能够利用AlexNet完成图像分类

2012年，AlexNet横空出世，该模型的名字源于论文第一作者的姓名Alex Krizhevsky 。AlexNet使用了8层卷积神经网络，以很大的优势赢得了ImageNet 2012图像识别挑战赛。它首次证明了学习到的特征可以超越手工设计的特征，从而一举打破计算机视觉研究的方向。

1.AlexNet的网络架构

AlexNet与LeNet的设计理念非常相似，但也有显著的区别，其网络架构如下图所示：

该网络的特点是：

  • AlexNet包含8层变换，有5层卷积和2层全连接隐藏层，以及1个全连接输出层

  • AlexNet第一层中的卷积核形状是11×1111×11。第二层中的卷积核形状减小到5×55×5，之后全采用3×33×3。所有的池化层窗口大小为3×33×3、步幅为2的最大池化。

  • AlexNet将sigmoid激活函数改成了ReLU激活函数，使计算更简单，网络更容易训练

  • AlexNet通过dropOut来控制全连接层的模型复杂度。

  • AlexNet引入了大量的图像增强，如翻转、裁剪和颜色变化，从而进一步扩大数据集来缓解过拟合。

在tf.keras中实现AlexNet模型：

# 构建AlexNet模型
net = tf.keras.models.Sequential([
    # 卷积层：96个卷积核，卷积核为11*11，步幅为4，激活函数relu
    tf.keras.layers.Conv2D(filters=96,kernel_size=11,strides=4,activation='relu'),
    # 池化:窗口大小为3*3、步幅为2
    tf.keras.layers.MaxPool2D(pool_size=3, strides=2),
    # 卷积层：256个卷积核，卷积核为5*5，步幅为1，padding为same，激活函数relu
    tf.keras.layers.Conv2D(filters=256,kernel_size=5,padding='same',activation='relu'),
    # 池化:窗口大小为3*3、步幅为2
    tf.keras.layers.MaxPool2D(pool_size=3, strides=2),
    # 卷积层：384个卷积核，卷积核为3*3，步幅为1，padding为same，激活函数relu
    tf.keras.layers.Conv2D(filters=384,kernel_size=3,padding='same',activation='relu'),
    # 卷积层：384个卷积核，卷积核为3*3，步幅为1，padding为same，激活函数relu
    tf.keras.layers.Conv2D(filters=384,kernel_size=3,padding='same',activation='relu'),
    # 卷积层：256个卷积核，卷积核为3*3，步幅为1，padding为same，激活函数relu
    tf.keras.layers.Conv2D(filters=256,kernel_size=3,padding='same',activation='relu'),
    # 池化:窗口大小为3*3、步幅为2
    tf.keras.layers.MaxPool2D(pool_size=3, strides=2),
    # 伸展为1维向量
    tf.keras.layers.Flatten(),
    # 全连接层:4096个神经元，激活函数relu
    tf.keras.layers.Dense(4096,activation='relu'),
    # 随机失活
    tf.keras.layers.Dropout(0.5),
    # 全链接层：4096个神经元，激活函数relu
    tf.keras.layers.Dense(4096,activation='relu'),
    # 随机失活
    tf.keras.layers.Dropout(0.5),
    # 输出层：10个神经元，激活函数softmax
    tf.keras.layers.Dense(10,activation='softmax')
])

我们构造一个高和宽均为227的单通道数据样本来看一下模型的架构：

# 构造输入X，并将其送入到net网络中
X = tf.random.uniform((1,227,227,1)
y = net(X)
# 通过net.summay()查看网络的形状
net.summay()

网络架构如下：

Model: "sequential"
_________________________________________________________________
Layer (type)                 Output Shape              Param #   
=================================================================
conv2d (Conv2D)              (1, 55, 55, 96)           11712     
_________________________________________________________________
max_pooling2d (MaxPooling2D) (1, 27, 27, 96)           0         
_________________________________________________________________
conv2d_1 (Conv2D)            (1, 27, 27, 256)          614656    
_________________________________________________________________
max_pooling2d_1 (MaxPooling2 (1, 13, 13, 256)          0         
_________________________________________________________________
conv2d_2 (Conv2D)            (1, 13, 13, 384)          885120    
_________________________________________________________________
conv2d_3 (Conv2D)            (1, 13, 13, 384)          1327488   
_________________________________________________________________
conv2d_4 (Conv2D)            (1, 13, 13, 256)          884992    
_________________________________________________________________
max_pooling2d_2 (MaxPooling2 (1, 6, 6, 256)            0         
_________________________________________________________________
flatten (Flatten)            (1, 9216)                 0         
_________________________________________________________________
dense (Dense)                (1, 4096)                 37752832  
_________________________________________________________________
dropout (Dropout)            (1, 4096)                 0         
_________________________________________________________________
dense_1 (Dense)              (1, 4096)                 16781312  
_________________________________________________________________
dropout_1 (Dropout)          (1, 4096)                 0         
_________________________________________________________________
dense_2 (Dense)              (1, 10)                   40970     
=================================================================
Total params: 58,299,082
Trainable params: 58,299,082
Non-trainable params: 0
_________________________________________________________________

之前的代码有点问题，这是改进之后的代码：

import tensorflow as tf
import matplotlib.pyplot as plt

# 构建AlexNet模型
net = tf.keras.models.Sequential([
    # 卷积层：96个卷积核，卷积核为11*11，步幅为4，激活函数relu
    tf.keras.layers.Conv2D(filters=96, kernel_size=11, strides=4, activation='relu', input_shape=(227, 227, 3)),
    # 池化层：窗口大小为3*3、步幅为2
    tf.keras.layers.MaxPooling2D(pool_size=3, strides=2),

    # 卷积层：256个卷积核，卷积核为5*5，步幅为1，padding为same，激活函数relu
    tf.keras.layers.Conv2D(filters=256, kernel_size=5, padding='same', activation='relu'),
    # 池化层：窗口大小为3*3、步幅为2
    tf.keras.layers.MaxPooling2D(pool_size=3, strides=2),

    # 卷积层：384个卷积核，卷积核为3*3，步幅为1，padding为same，激活函数relu
    tf.keras.layers.Conv2D(filters=384, kernel_size=3, padding='same', activation='relu'),

    # 卷积层：384个卷积核，卷积核为3*3，步幅为1，padding为same，激活函数relu
    tf.keras.layers.Conv2D(filters=384, kernel_size=3, padding='same', activation='relu'),

    # 卷积层：256个卷积核，卷积核为3*3，步幅为1，padding为same，激活函数relu
    tf.keras.layers.Conv2D(filters=256, kernel_size=3, padding='same', activation='relu'),
    # 池化层：窗口大小为3*3、步幅为2
    tf.keras.layers.MaxPooling2D(pool_size=3, strides=2),

    # 扁平化操作，将多维特征图转换为一维向量
    tf.keras.layers.Flatten(),

    # 全连接层：4096个神经元，激活函数relu
    tf.keras.layers.Dense(4096, activation='relu'),
    # 随机失活层
    tf.keras.layers.Dropout(0.5),

    # 全连接层：4096个神经元，激活函数relu
    tf.keras.layers.Dense(4096, activation='relu'),
    # 随机失活层
    tf.keras.layers.Dropout(0.5),

    # 输出层：10个神经元，激活函数softmax
    tf.keras.layers.Dense(10, activation='softmax')
])

# 构造输入X，并将其送入到net网络中
X = tf.random.uniform((1, 227, 227, 3))
y = net(X)

# 通过net.summary()查看网络结构
net.summary()

运行之后网络架构如下：

Model: "sequential"
_________________________________________________________________
 Layer (type)                Output Shape              Param #   
=================================================================
 conv2d (Conv2D)             (None, 55, 55, 96)        34944     
                                                                 
 max_pooling2d (MaxPooling2D  (None, 27, 27, 96)       0         
 )                                                               
                                                                 
 conv2d_1 (Conv2D)           (None, 27, 27, 256)       614656    
                                                                 
 max_pooling2d_1 (MaxPooling  (None, 13, 13, 256)      0         
 2D)                                                             
                                                                 
 conv2d_2 (Conv2D)           (None, 13, 13, 384)       885120    
                                                                 
 conv2d_3 (Conv2D)           (None, 13, 13, 384)       1327488   
                                                                 
 conv2d_4 (Conv2D)           (None, 13, 13, 256)       884992    
                                                                 
 max_pooling2d_2 (MaxPooling  (None, 6, 6, 256)        0         
 2D)                                                             
                                                                 
 flatten (Flatten)           (None, 9216)              0         
                                                                 
 dense (Dense)               (None, 4096)              37752832  
                                                                 
 dropout (Dropout)           (None, 4096)              0         
                                                                 
 dense_1 (Dense)             (None, 4096)              16781312  
                                                                 
 dropout_1 (Dropout)         (None, 4096)              0         
                                                                 
 dense_2 (Dense)             (None, 10)                40970     
                                                                 
=================================================================
Total params: 58,322,314
Trainable params: 58,322,314
Non-trainable params: 0

2.手写数字势识别

AlexNet使用ImageNet数据集进行训练，但因为ImageNet数据集较大训练时间较长，我们仍用前面的MNIST数据集来演示AlexNet。读取数据的时将图像高和宽扩大到AlexNet使用的图像高和宽227。这个通过tf.image.resize_with_pad来实现。

2.1 数据读取

首先获取数据,并进行维度调整：

import numpy as np
# 获取手写数字数据集
(train_images, train_labels), (test_images, test_labels) = mnist.load_data()
# 训练集数据维度的调整：N H W C
train_images = np.reshape(train_images,(train_images.shape[0],train_images.shape[1],train_images.shape[2],1))
# 测试集数据维度的调整：N H W C
test_images = np.reshape(test_images,(test_images.shape[0],test_images.shape[1],test_images.shape[2],1))

由于使用全部数据训练时间较长，我们定义两个方法获取部分数据，并将图像调整为227*227大小，进行模型训练：

# 定义两个方法随机抽取部分样本演示 # 获取训练集数据 def get_train(size): # 随机生成要抽样的样本的索引 index = np.random.randint(0, np.shape(train_images)[0], size) # 将这些数据resize成227*227大小 resized_images = tf.image.resize_with_pad(train_images[index],227,227,) # 返回抽取的 return resized_images.numpy(), train_labels[index] # 获取测试集数据 def get_test(size): # 随机生成要抽样的样本的索引 index = np.random.randint(0, np.shape(test_images)[0], size) # 将这些数据resize成227*227大小 resized_images = tf.image.resize_with_pad(test_images[index],227,227,) # 返回抽样的测试样本 return resized_images.numpy(), test_labels[index]

调用上述两个方法，获取参与模型训练和测试的数据集：

# 获取训练样本和测试样本
train_images,train_labels = get_train(256)
test_images,test_labels = get_test(128)

为了让大家更好的理解，我们将数据展示出来：

# 数据展示：将数据集的前九个数据集进行展示
for i in range(9):
    plt.subplot(3,3,i+1)
    # 以灰度图显示，不进行插值
    plt.imshow(train_images[i].astype(np.int8).squeeze(), cmap='gray', interpolation='none')
    # 设置图片的标题：对应的类别
    plt.title("数字{}".format(train_labels[i]))

结果为：

我们就使用上述创建的模型进行训练和评估。

2.2 模型编译

# 指定优化器，损失函数和评价指标
optimizer = tf.keras.optimizers.SGD(learning_rate=0.01, momentum=0.0, nesterov=False)

net.compile(optimizer=optimizer,
              loss='sparse_categorical_crossentropy',
              metrics=['accuracy'])

2.3 模型训练

# 模型训练：指定训练数据，batchsize,epoch,验证集
net.fit(train_images,train_labels,batch_size=128,epochs=3,verbose=1,validation_split=0.1)

训练输出为：

Epoch 1/3 2/2 [==============================] - 3s 2s/step - loss: 2.3003 - accuracy: 0.0913 - val_loss: 2.3026 - val_accuracy: 0.0000e+00 Epoch 2/3 2/2 [==============================] - 3s 2s/step - loss: 2.3069 - accuracy: 0.0957 - val_loss: 2.3026 - val_accuracy: 0.0000e+00 Epoch 3/3 2/2 [==============================] - 4s 2s/step - loss: 2.3117 - accuracy: 0.0826 - val_loss: 2.3026 - val_accuracy: 0.0000e+00

2.4 模型评估

# 指定测试数据
net.evaluate(test_images,test_labels,verbose=1)

输出为：

4/4 [==============================] - 1s 168ms/step - loss: 2.3026 - accuracy: 0.0781 [2.3025851249694824, 0.078125]

如果我们使用整个数据集训练网络，并进行评估的结果：

[0.4866700246334076, 0.8395]

//+++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++//

如果之前建立的tensorflow环境一直报错可以重新建立单独虚拟环境：mnist

​
conda create -n mnist python==3.8
pip install tensorflow-gpu==2.7.0 -i  https://pypi.mirrors.ustc.edu.cn/simple  


 

pip install matplotlib -i  https://pypi.mirrors.ustc.edu.cn/simple  

protobuf版本太高改小一点
 

pip install protobuf==3.20.1 -i  https://pypi.mirrors.ustc.edu.cn/simple  

全部代码如下：

import tensorflow as tf
import matplotlib.pyplot as plt

import numpy as np
# 获取手写数字数据集
(train_images, train_labels), (test_images, test_labels) = tf.keras.datasets.mnist.load_data()
# 训练集数据维度的调整：N H W C
train_images = np.reshape(train_images,(train_images.shape[0],train_images.shape[1],train_images.shape[2],1))
# 测试集数据维度的调整：N H W C
test_images = np.reshape(test_images,(test_images.shape[0],test_images.shape[1],test_images.shape[2],1))
# 将训练集和测试集的图像数据类型转换为 float32
train_images = train_images.astype('float32')
test_images = test_images.astype('float32')

# 构建AlexNet模型
net = tf.keras.models.Sequential([
    # 卷积层：96个卷积核，卷积核为11*11，步幅为4，激活函数relu
    tf.keras.layers.Conv2D(filters=96,kernel_size=11,strides=4,activation='relu'),
    # 池化:窗口大小为3*3、步幅为2
    tf.keras.layers.MaxPool2D(pool_size=3, strides=2,padding='same'),
    # 卷积层：256个卷积核，卷积核为5*5，步幅为1，padding为same，激活函数relu
    tf.keras.layers.Conv2D(filters=256,kernel_size=5,padding='same',activation='relu'),
    # 池化:窗口大小为3*3、步幅为2
    tf.keras.layers.MaxPool2D(pool_size=3, strides=2,padding='same'),
    # 卷积层：384个卷积核，卷积核为3*3，步幅为1，padding为same，激活函数relu
    tf.keras.layers.Conv2D(filters=384,kernel_size=3,padding='same',activation='relu'),
    # 卷积层：384个卷积核，卷积核为3*3，步幅为1，padding为same，激活函数relu
    tf.keras.layers.Conv2D(filters=384,kernel_size=3,padding='same',activation='relu'),
    # 卷积层：256个卷积核，卷积核为3*3，步幅为1，padding为same，激活函数relu
    tf.keras.layers.Conv2D(filters=256,kernel_size=3,padding='same',activation='relu'),
    # 池化:窗口大小为3*3、步幅为2
    tf.keras.layers.MaxPool2D(pool_size=3, strides=2,padding='same'),
    # 伸展为1维向量
    tf.keras.layers.Flatten(),
    # 全连接层:4096个神经元，激活函数relu
    tf.keras.layers.Dense(4096,activation='relu'),
    # 随机失活
    tf.keras.layers.Dropout(0.5),
    # 全链接层：4096个神经元，激活函数relu
    tf.keras.layers.Dense(4096,activation='relu'),
    # 随机失活
    tf.keras.layers.Dropout(0.5),
    # 输出层：10个神经元，激活函数softmax
    tf.keras.layers.Dense(10,activation='softmax')
])
# 数据展示
plt.figure(figsize=(8,8))
for i in range(9):
    plt.subplot(3, 3, i+1)
    plt.imshow(train_images[i].astype(np.int8).squeeze(), cmap='gray', interpolation='none')
    plt.title("{}".format(train_labels[i]))
plt.show()

#指定优化器，损失函数和评价指标
optimizer = tf.keras.optimizers.SGD(learning_rate=0.01, momentum=0.0, nesterov=False)

net.compile(optimizer=optimizer,
            loss='sparse_categorical_crossentropy',
            metrics=['accuracy'])
# 模型训练：指定训练数据，batchsize,epoch,验证集
net.fit(train_images,train_labels,batch_size=128,epochs=3,verbose=1,validation_split=0.1)
# 指定测试数据
net.evaluate(test_images,test_labels,verbose=1)

运行成功界面：

山山而川_R
关注
专栏目录
AlexNet网络结构详解（含各层维度大小计算过程）与PyTorch实现
weixin_64017116的博客
08-05 5191
以往池化的大小PoolingSize与步长stride一般是相等的，例如：图像大小为256*256，PoolingSize=2×2，stride=2，这样可以使图像或是FeatureMap大小缩小一倍变为128，此时池化过程没有发生层叠。2.激活函数：ReLU。256）卷积核，padding=1，stride=1，所以经过变化（13-3+2。384）卷积核，padding=1，stride=1，所以经过变化（13-3+2。834）卷积核，padding=1，stride=1，所以经过变化（13-3+2。
深度学习AlexNet模型详细分析
热门推荐
zyqdragon的博客
05-16 9万+
Alex在2012年提出的alexnet网络结构模型引爆了神经网络的应用热潮，并赢得了2012届图像识别大赛的冠军，使得CNN成为在图像分类上的核心算法模型。 接下来本文对该网络配置结构中各个层进行详细的解读（训练阶段）： 注：下述关于卷积核的尺寸来自于Alex在2012年发表的经典论文。   1. conv1阶段DFD（data flow diagram）：   第一层输入数
跟着问题学5——AlexNet网络详解及代码实战
最新发布
weixin_42251091的博客
08-18 2609
每一层的权重初始化为均值1标准差0.01的正态分布，在第2,4,5卷积层和全连接层中的bias初始化为常数1，其余层则为0.所有层采用了相同的初始化为0.01的学习率，不过可以手动调整。测试时使用所有的神经元，但将它们的输出乘以0.5。简单举例来说，池化核大小3 × 3， 扩充边缘padding = 0，步长stride = 2，因此其FeatureMap输出大小为(13-3+0×2+2)/2=6, 即C5输出为6×6×256（此处未将输出分到两个GPU中，若按照论文将分成两组，每组为6×6×128）；
AlexNet详解
tt丫的博客
01-03 4931
分为上下两层，分别对应两个GPU的操作过程，除了中间某些卷积层和全连接层会有GPU间的交互外，其他层都是由两个GPU分别计算结果。除去局部响应规范化操作（LRN），AlexNet一共包含8层，前5层由卷积层（其中卷积层1、2、5后含有下采样层）组成，（中间还夹带一个平均池化），剩下的3层为全连接层。最后一层全连接层输出，得到1000个图像分类标签对应的得分值。除了GPU并行结构的设计，AlexNet网络结构和LeNet很相像。
AlexNet(深度学习模型)详解
记录 IT 领域经验与见解的博客
05-18 1万+
这样可以保证输出的特征图大小为55×55，同时减少了特征图的数量，从而避免了过拟合的风险。AlexNet的成功证明了深度学习在图像分类领域的重要性，并为计算机视觉领域的其他应用提供了新的思路和方法。该层的目的是减少特征图的大小，并增加模型的稳定性。该层的目的是减少特征图的大小，并增加模型的稳定性。AlexNet是一个用于图像分类的深度学习模型，它可以将输入的图像分为不同的类别。该技术可以对每个小批量的输入数据进行归一化处理，并对归一化后的数据进行线性变换和偏置，从而增加模型的非线性性和鲁棒性。
c++ 读写excel_每天10分钟，轻松入门python，json、csv等读写
weixin_39637256的博客
11-14 391
JSON的全称是”JavaScript Object Notation”，意思是JavaScript对象表示法，它是一种基于文本，独立于语言的轻量级数据交换格式。这种数据在弄爬虫的时候，经常会见到这类型的数据。下面展示一个简单的json数据。{ 很想python的字典格式吧？键：值的对应关系。如果要操作json的模块，那么就需要用到json模块。Python与JSON相互转换#python...
AlexNet_kerasalexnet_keras_深度学习_alexnet_CNN_
10-01
**AlexNet深度学习模型在Keras中的实现** **一、AlexNet概述** AlexNet是由Alex Krizhevsky、Ilya Sutskever和Geoffrey Hinton在2012年的ImageNet Large Scale Visual Recognition Challenge (ILSVRC)中提出的，它...
Demo5_transfer_learning_using_alexnet_深度学习_alexnet_transferlearn
09-11
标题“Demo5_transfer_learning_using_alexnet_深度学习_alexnet_transferlearn”表明这是一个示例教程，专注于利用预训练的AlexNet模型进行迁移学习，以解决特定的深度学习问题。 首先，让我们了解AlexNet。...
tfAlexNet-master.zip_AlexNet网络_alexnet_alexnet tensorflow_tensor
07-15
AlexNet是深度学习领域的一个里程碑，由Alex Krizhevsky、Ilya Sutskever和Geoffrey Hinton在2012年的ImageNet Large Scale Visual Recognition Challenge（ILSVRC）中首次提出。这个模型的成功打破了传统机器学习...
AlexNet 网络详解
h52013141的博客
12-06 1604
AlexNet 是深度学习和计算机视觉领域的一个重要里程碑，它在 2012 年 ImageNet 挑战赛中获得冠军，显著提高了图像分类的准确率。AlexNet 是第一个成功应用于大规模视觉识别任务的深度卷积神经网络。
AlexNet网络结构
qq_40107571的博客
09-30 324
AlexNet网络结构
四大经典CNN架构之一(ALexNet)
12-21
本资源详细解读了经典论文ImageNet Classification with Deep Convolutional Neural Networks，主要介绍ALexNet的架构、特点、计算流程
AlexNet网络结构的实现和详解
pyscl01的博客
10-27 5116
AlexNet的网络结构详解，花分类数据集的下载和划分，以及模型代码和训练代码的详解
AlexNet网络详解
wzk4869的博客
11-15 1111
AlexNet网络详解
卷积神经网络典型应用———AlexNet
weixin_44214375的博客
09-17 5301
AlexNet by lyx一 AlexNet简介二 AlexNet结构关键：采用dropout的正则化方法来减少全连接层过拟合三 Alex结构详尽分析COV1!!!输入：卷积：激活函数降采样操作pool1(池化操作)COV2!!!输入：卷积：激活函数降采样操作pool2(池化操作)COV3!!!COV4!!!COV5!!!FC6!!!FC7!!!FC8!!!四 why relu？？？五 代码实现gkd六 论文中提及的多GPU七 如何理解dropout？ 一 AlexNet简介 AlexNet卷积神经网络
AlexNet网络的结构详解与实现
小白学视觉
05-05 3841
点击上方“小白学视觉”，选择加"星标"或“置顶”重磅干货，第一时间送达一：AlexNet网络结构在2012年ImageNet图像分类任务竞赛中AlexNet一鸣惊人，对128万张1000个分类的预测结果大大超过其他算法模型准确率，打败其它非DNN网络一鸣惊人。AlexNet包括5个卷积层与三个全连接层，与今天动则十几层、几十层甚至成百上千层相比，简直是太简单、太容易理解啦...
深度学习用 alexnet 模型训练识别厨房用具
2. 深度学习与CNN： 深度学习是机器学习的一个分支，侧重于使用多层神经网络来学习数据的层级特征。卷积神经网络（CNN）是一种专门用来处理具有类似网格结构数据（如图像）的深度学习模型。它通过卷积层自动且有效...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值