第J1周：ResNet-50算法实战与解析

于 2024-09-13 20:54:22 发布
阅读量367 收藏 9
点赞数 3
文章标签： 算法 tensorflow 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_47918905/article/details/142218557
版权

电脑环境：
语言环境：Python 3.8.0
编译器：Jupyter Notebook
深度学习环境：tensorflow 2.17.0

一、前期工作

1、ResNet-50总体结构

在这里插入图片描述

2、设置GPU

import tensorflow as tf

gpus = tf.config.list_physical_devices('GPU')

if gpus:
    tf.config.experimental.set_memory_growth(gpus[0], True)
    tf.config.set_visible_devices(gpus[0], 'GPU')

3、导入数据

import matplotlib.pyplot as plt

plt.rcParams['font.sans-serif'] = ['SimHei']
plt.rcParams['axes.unicode_minus'] = False

import os, PIL, pathlib
import numpy as np

from tensorflow import keras
from keras import layers, models

data_dir = './bird_photos'
data_dir = pathlib.Path(data_dir)
image_count = len(list(data_dir.glob('*/*')))
image_count

565

二、数据预处理

1、加载数据

batch_size = 8
img_height = 224
img_width = 224

train_ds = tf.keras.preprocessing.image_dataset_from_directory(
    data_dir,
    validation_split=0.2,
    subset='training',
    seed=123,
    image_size=(img_height, img_width),
    batch_size=batch_size)
 
val_ds = tf.keras.preprocessing.image_dataset_from_directory(
    data_dir,
    validation_split=0.2,
    subset='validation',
    seed=123,
    image_size=(img_height, img_width),
    batch_size=batch_size)

我们可以通过class_names输出数据集的标签，按字母顺序对应于目录名称。

class_names = train_ds.class_names
class_names

[‘Bananaquit’, ‘Black Skimmer’, ‘Black Throated Bushtiti’, ‘Cockatoo’]

2、可视化数据

plt.figure(figsize=(10, 4))

for images, labels in train_ds.take(1):
    for i in range(8):
        ax = plt.subplot(2, 4, i+1)
        plt.imshow(images[i].numpy().astype('uint8'))
        plt.title(class_names[labels[i]])
        plt.axis('off')

在这里插入图片描述

plt.imshow(images[0].numpy().astype('uint8'))

在这里插入图片描述

3、再次检查数据

for image_batch, labels_batch in train_ds:
    print(image_batch.shape)
    print(labels_batch.shape)
    break

(8, 224, 224, 3)
(8,)

4、配置数据集

AUTOTUNE = tf.data.experimental.AUTOTUNE

train_ds = train_ds.cache().shuffle(1000).prefetch(buffer_size=AUTOTUNE)
val_ds = val_ds.cache().prefetch(buffer_size=AUTOTUNE)

三、构建ResNet-50模型

from keras import layers

from keras.layers import Input, Activation, BatchNormalization, Flatten
from keras.layers import Dense, Conv2D, MaxPooling2D, ZeroPadding2D, AveragePooling2D
from keras.models import Model

def identity_block(input_tensor, kernel_size, filters, stage, block):
    filters1, filters2, filters3 = filters

    name_base = str(stage) + block + '_identity_block_'

    x = Conv2D(filters1, (1, 1), name=name_base + 'conv1')(input_tensor)
    x = BatchNormalization(name=name_base + 'bn1')(x)
    x = Activation('relu', name=name_base + 'relu1')(x)

    x = Conv2D(filters2, kernel_size, padding='same', name=name_base + 'conv2')(x)
    x = BatchNormalization(name=name_base + 'bn2')(x)
    x = Activation('relu', name=name_base + 'relu2')(x)

    x = Conv2D(filters3, (1, 1), name=name_base + 'conv3')(x)
    x = BatchNormalization(name=name_base + 'bn3')(x)

    x = layers.add([x, input_tensor], name=name_base + 'add')
    x = Activation('relu', name=name_base + 'relu3')(x)
    return x

def conv_block(input_tensor, kernel_size, filters, stage, block, strides=(2, 2)):
    filters1, filters2, filters3 = filters

    res_name_base = str(stage) + block + '_conv_block_res_'
    name_base = str(stage) + block + '_conv_block_'

    x = Conv2D(filters1, (1, 1), strides=strides, name=name_base + 'conv1')(input_tensor)
    x = BatchNormalization(name=name_base + 'bn1')(x)
    x = Activation('relu', name=name_base + 'relu1')(x)

    x = Conv2D(filters2, kernel_size, padding='same', name=name_base + 'conv2')(x)
    x = BatchNormalization(name=name_base + 'bn2')(x)
    x = Activation('relu', name=name_base + 'relu2')(x)

    x = Conv2D(filters3, (1, 1), name=name_base + 'conv3')(x)
    x = BatchNormalization(name=name_base + 'bn3')(x)

    shortcut = Conv2D(filters3, (1, 1), strides=strides, name=res_name_base + 'conv')(input_tensor)
    shortcut = BatchNormalization(name=res_name_base + 'bn')(shortcut)

    x = layers.add([x, shortcut], name=name_base + 'add')
    x = Activation('relu', name=name_base + 'relu3')(x)
    return x

def ResNet50(input_shape=(224, 224, 3), classes=1000):
    img_input = Input(shape=input_shape)
    x = ZeroPadding2D((3, 3))(img_input)

    x = Conv2D(64, (7, 7), strides=(2, 2), name='conv1')(x)
    x = BatchNormalization(name='bn_conv1')(x)
    x = Activation('relu')(x)
    x = MaxPooling2D((3, 3), strides=(2, 2))(x)

    x =     conv_block(x, 3, [64, 64, 256], stage=2, block='a', strides=(1, 1))
    x = identity_block(x, 3, [64, 64, 256], stage=2, block='b')
    x = identity_block(x, 3, [64, 64, 256], stage=2, block='c')

    x =     conv_block(x, 3, [128, 128, 512], stage=3, block='a')
    x = identity_block(x, 3, [128, 128, 512], stage=3, block='b')
    x = identity_block(x, 3, [128, 128, 512], stage=3, block='c')
    x = identity_block(x, 3, [128, 128, 512], stage=3, block='d')

    x =     conv_block(x, 3, [256, 256, 1024], stage=4, block='a')
    x = identity_block(x, 3, [256, 256, 1024], stage=4, block='b')
    x = identity_block(x, 3, [256, 256, 1024], stage=4, block='c')
    x = identity_block(x, 3, [256, 256, 1024], stage=4, block='d')
    x = identity_block(x, 3, [256, 256, 1024], stage=4, block='e')
    x = identity_block(x, 3, [256, 256, 1024], stage=4, block='f')

    x =     conv_block(x, 3, [512, 512, 2048], stage=5, block='a')
    x = identity_block(x, 3, [512, 512, 2048], stage=5, block='b')
    x = identity_block(x, 3, [512, 512, 2048], stage=5, block='c')

    x = AveragePooling2D((7, 7), name='avg_pool')(x)

    x = Flatten()(x)
    x = Dense(classes, activation='softmax', name='fc1000')(x)
    model = Model(img_input, x, name='resnet50')

    # 加载预训练模型
    model.load_weights('./resnet50_weights_tf_dim_ordering_tf_kernels.h5')

    return model

model = ResNet50()
model.summary()

Model: "resnet50"
┏━━━━━━━━━━━━━━━━━━━━━━━━━━━┳━━━━━━━━━━━━━━━━━━━━━━━━┳━━━━━━━━━━━━━━━━┳━━━━━━━━━━━━━━━━━━━━━━━━┓
┃ Layer (type)              ┃ Output Shape           ┃        Param # ┃ Connected to           ┃
┡━━━━━━━━━━━━━━━━━━━━━━━━━━━╇━━━━━━━━━━━━━━━━━━━━━━━━╇━━━━━━━━━━━━━━━━╇━━━━━━━━━━━━━━━━━━━━━━━━┩
│ input_layer (InputLayer)  │ (None, 224, 224, 3)    │              0 │ -                      │
├───────────────────────────┼────────────────────────┼────────────────┼────────────────────────┤
│ zero_padding2d            │ (None, 230, 230, 3)    │              0 │ input_layer[0][0]      │
│ (ZeroPadding2D)           │                        │                │                        │
├───────────────────────────┼────────────────────────┼────────────────┼────────────────────────┤
│ conv1 (Conv2D)            │ (None, 112, 112, 64)   │          9,472 │ zero_padding2d[0][0]   │
├───────────────────────────┼────────────────────────┼────────────────┼────────────────────────┤
│ bn_conv1                  │ (None, 112, 112, 64)   │            256 │ conv1[0][0]            │
│ (BatchNormalization)      │                        │                │                        │
├───────────────────────────┼────────────────────────┼────────────────┼────────────────────────┤
│ activation (Activation)   │ (None, 112, 112, 64)   │              0 │ bn_conv1[0][0]         │
├───────────────────────────┼────────────────────────┼────────────────┼────────────────────────┤
│ max_pooling2d             │ (None, 55, 55, 64)     │              0 │ activation[0][0]       │
│ (MaxPooling2D)            │                        │                │                        │
..............................................................
..............................................................
..............................................................
├───────────────────────────┼────────────────────────┼────────────────┼────────────────────────┤
│ avg_pool                  │ (None, 1, 1, 2048)     │              0 │ 5c_identity_block_rel… │
│ (AveragePooling2D)        │                        │                │                        │
├───────────────────────────┼────────────────────────┼────────────────┼────────────────────────┤
│ flatten (Flatten)         │ (None, 2048)           │              0 │ avg_pool[0][0]         │
├───────────────────────────┼────────────────────────┼────────────────┼────────────────────────┤
│ fc1000 (Dense)            │ (None, 1000)           │      2,049,000 │ flatten[0][0]          │
└───────────────────────────┴────────────────────────┴────────────────┴────────────────────────┘
 Total params: 25,636,712 (97.80 MB)
 Trainable params: 25,583,592 (97.59 MB)
 Non-trainable params: 53,120 (207.50 KB)

四、编译

opt = tf.keras.optimizers.Adam(learning_rate=1e-4)
model.compile(optimizer=opt,
              loss='sparse_categorical_crossentropy',
              metrics=['accuracy'])

五、训练模型

epochs = 10
history = model.fit(
    train_ds,
    validation_data=val_ds,
    epochs=epochs
)

Epoch 1/10
57/57 ━━━━━━━━━━━━━━━━━━━━ 269s 1s/step - accuracy: 0.5021 - loss: 3.6748 - val_accuracy: 0.9646 - val_loss: 0.1640
Epoch 2/10
57/57 ━━━━━━━━━━━━━━━━━━━━ 6s 99ms/step - accuracy: 0.9636 - loss: 0.2068 - val_accuracy: 0.9823 - val_loss: 0.0241
Epoch 3/10
57/57 ━━━━━━━━━━━━━━━━━━━━ 6s 97ms/step - accuracy: 0.9800 - loss: 0.0443 - val_accuracy: 0.9912 - val_loss: 0.0115
Epoch 4/10
57/57 ━━━━━━━━━━━━━━━━━━━━ 10s 98ms/step - accuracy: 0.9943 - loss: 0.0286 - val_accuracy: 0.9912 - val_loss: 0.0183
Epoch 5/10
57/57 ━━━━━━━━━━━━━━━━━━━━ 11s 104ms/step - accuracy: 0.9945 - loss: 0.0377 - val_accuracy: 1.0000 - val_loss: 0.0108
Epoch 6/10
57/57 ━━━━━━━━━━━━━━━━━━━━ 10s 100ms/step - accuracy: 0.9995 - loss: 0.0038 - val_accuracy: 0.9735 - val_loss: 0.0359
Epoch 7/10
57/57 ━━━━━━━━━━━━━━━━━━━━ 10s 104ms/step - accuracy: 1.0000 - loss: 0.0024 - val_accuracy: 0.9912 - val_loss: 0.0196
Epoch 8/10
57/57 ━━━━━━━━━━━━━━━━━━━━ 10s 98ms/step - accuracy: 1.0000 - loss: 6.2409e-04 - val_accuracy: 0.9912 - val_loss: 0.0139
Epoch 9/10
57/57 ━━━━━━━━━━━━━━━━━━━━ 6s 106ms/step - accuracy: 1.0000 - loss: 5.9430e-04 - val_accuracy: 1.0000 - val_loss: 0.0103
Epoch 10/10
57/57 ━━━━━━━━━━━━━━━━━━━━ 6s 99ms/step - accuracy: 1.0000 - loss: 3.5871e-04 - val_accuracy: 1.0000 - val_loss: 0.0094

六、模型评估

acc = history.history['accuracy']
val_acc = history.history['val_accuracy']

loss = history.history['loss']
val_loss = history.history['val_loss']

epochs_range = range(epochs)

plt.figure(figsize=(12, 4))

plt.subplot(1, 2, 1)
plt.plot(epochs_range, acc, label='Training Accuracy')
plt.plot(epochs_range, val_acc, label='Validation Accuracy')
plt.legend(loc='lower right')
plt.title('Training and Validation Accuracy')

plt.subplot(1, 2, 2)
plt.plot(epochs_range, loss, label='Training Loss')
plt.plot(epochs_range, val_loss, label='Validation Loss')
plt.legend(loc='upper right')
plt.title('Training and Validation Loss')
plt.show()

在这里插入图片描述

七、预测

plt.figure(figsize=(10, 4))

for images, labels in train_ds.take(1):
    for i in range(8):
        ax = plt.subplot(2, 4, i+1)
        plt.imshow(images[i].numpy().astype('uint8'))

        img_array = tf.expand_dims(images[i], 0)
        predictions = model.predict(img_array)

        plt.title(class_names[np.argmax(predictions)])
        plt.axis('off')

在这里插入图片描述

八、总结

在一般的卷积神经网络中，由于深度的增加，可能会带来梯度爆炸，梯度消失，ResNet的残差网络结构可以有效解决这些问题。

oufoc
关注
pytorch argmax_轻松学Pytorch-使用ResNet50实现图像分类
weixin_39985279的博客
11-21 1286
来源：磐创AI本文约1161字，建议阅读4分钟。本文介绍pytorch中最重要的组件torchvision，它包含了常见的数据集、模型架构与预训练模型权重文件、常见图像变换、计算机视觉任务训练。Hello大家好，这篇文章给大家详细介绍一下pytorch中最重要的组件torchvision，它包含了常见的数据集、模型架构与预训练模型权重文件、常见图像变换、计算机视觉任务训练。可以是说是pytorch...
经典CNN算法解析实战-第J2周：ResNet50V2算法实战与解析
Oaix的博客
02-16 625
第J2周：ResNet50V2算法实战与解析
caffe Resnet-50
05-21
残差resnet网络 ImageNet pre-trained ResNet-50的caffemodel
神经网络—ResNet50网络（pytorch）
最新发布
2403_86447519的博客
08-30 2385
神经网络—ResNet50网络代码实现（pytorch）
ResNet50是什么
m0_73820512的博客
03-12 6196
它的深度和残差学习的方法使得它能够学习更复杂的特征，从而提高了它的准确率。残差学习的思想是，如果一个层的输入和输出相同，那么这个层就是一个恒等映射。这个模型是在2015年的ImageNet比赛中获得了第一名，它的准确率比前一年的获胜者提高了3.6%。ResNet50的名字中的“Res”代表残差，这是因为这个模型使用了残差学习的方法。这个模型的深度使得它能够学习更复杂的特征，从而提高了它的准确率。这个层将每个特征图的所有像素的平均值作为该特征图的输出。这个层的作用是减少模型的参数数量，从而减少过拟合的风险。
resnet50 模型
09-20
resnet50 模型，很难训练，且训练一次需要很长时间，最好保存
ResNet-50算法
weixin_53657683的博客
06-27 3918
残差网络是为了解决深度神经网络（DNN）训练过程中梯度消失和梯度爆炸的问题而提出的。它通过引入残差连接，将输入直接加到输出上，从而允许网络学习更复杂的函数。ResNet-50有两个基本的块，分别名为Conv Block和。
经典CNN算法解析实战-第J6周：ResNeXt-50实战解析
Oaix的博客
03-17 586
第J6周：ResNeXt-50实战解析
经典CNN算法解析实战-第J4周：ResNet与DenseNet结合探索
Oaix的博客
03-03 370
ResNet与DenseNet结合探索
经典CNN算法解析实战-第J5周：DenseNet+SE-Net实战
Oaix的博客
03-10 1366
DenseNet+SE-Net实战
经典CNN算法解析实战-第J3周：DenseNet算法实战与解析
Oaix的博客
02-23 355
DenseNet算法实战与解析
resnet_50_new：使用resnet 50权重进行图像分类
02-14
resnet_50_new：使用resnet 50权重进行图像分类
resnet-50介绍（一）
12-03 2万+
这篇文章讲解的是使用Tensorflow实现残差网络resnet-50. 侧重点不在于理论部分，而是在于代码实现部分。在github上面已经有其他的开源实现，如果希望直接使用代码运行自己的数据，不建议使用本人的代码。但是如果希望学习resnet的代码实现思路，那么阅读本文将是一个不错的选择，因为本文的代码的思路是很清晰的。如果你刚刚阅读完resnet的那篇论文，非常建议你进一步学习如何使用代码实现resnet。本文包含源码的数据集。 resnet只是在CNN上面增加了shortcut，所以，resnet
ResNet-50
11-20 905
https://datascience-enthusiast.com/DL/Residual_Networks_v2.html#Residual-Networks  
RESNET50
Azuresmh的博客
04-18 1190
resnet的存在的原因很简单的来讲就是为了解决网络层数加深准确率反而下降（下降的原因是梯度爆炸（梯度爆炸就是初始某些权重的大小不一 太小的权重会由于激活函数压缩变小相当于乘以了很多个很小的数而导致后面的层数中有的很大 有的很小） 在上图的残差网络结构图中，通过“shortcut connections(捷径连接)”的方式，直接把输入x传到输出作为初始结果，输出结果为H(x)=F(x)+x，当F(x)=0时，那么H(x)=x，也就是上面所提到的恒等映射。于是，ResNet相当于将学习目标改变了，不再是学习
Resnet50
afadgas的博客
10-08 1731
resnet50
ResNet50 网络结构搭建(PyTorch)
热门推荐
New_WR的博客
12-07 4万+
ResNet50是一个经典的特征提取网络结构，虽然Pytorch已有官方实现，但为了加深对网络结构的理解，还是自己动手敲敲代码搭建一下。需要特别说明的是，笔者是以熟悉网络各层输出维度变化为目的的，只对建立后的网络赋予伪输入并测试各层输出，并没有用图像数据集训练过该网络（后续会用图像数据集测试并更新博客）。 1 预备理论 在动手搭建ResNet50以前，首先需要明确ResNet系列网络的基本结构，其次复习与卷积相关的几个知识点，以便更好地理解网络中间输出维度的
resnet50
qq_35608277的博客
05-29 2775
ref 结构分析 https://blog.csdn.net/Seven_year_Promise/article/details/69360488 结构图 https://blog.csdn.net/Seven_year_Promise/article/details/69358681
论文笔记：深度残差网络
weixin_44020772的博客
10-27 2378
论文笔记：深度残差网络为何使用深度残差网络传统深层卷积网络 论文地址：Deep Residual Learning for Image Recognition. 为何使用深度残差网络 理论上来说，神经网络的层数越深，它拟合函数的能力就越强，也就是表达能力越强，按理来说效果会更好，但在实际的处理过程中，越深的网络是越难训练的，模型也会处于一种很难收敛的状态。该论文提出了残差网络结构，这种网络结构解决了深层网络难以优化的问题，并且可以搭建更深的网络结构以获得更高的准确率。 传统深层卷积网络 由于深度学习模型的网
深度残差网络中的恒等映射：ResNet-v2提升精度与效率
"《翻译 – ResNet-v2 – 残差网络中的恒等映射》 深度残差网络（Residual Networks, ResNets）因其在深度学习领域的卓越表现而受到广泛关注。这篇论文深入探讨了ResNet-v2设计中的一个重要组成部分——恒等映射...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值