TensorFlow2 千层神经网络, 始步于此 --ResNet 实现

最新推荐文章于 2021-11-11 22:47:18 发布
最新推荐文章于 2021-11-11 22:47:18 发布
阅读量1.7w 收藏 31
点赞数 25
分类专栏： # Tensorflow2 入门 手把手带你玩转深度学习框架
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_46274168/article/details/118065702
版权

TensorFlow2 千层神经网络, 始步于此 --ResNet 实现

概述

深度残差网络 ResNet (Deep residual network) 和 Alexnet 一样是深度学习的一个里程碑.
在这里插入图片描述

深度网络退化

当网络深度从 0 增加到 20 的时候, 结果会随着网络的深度而变好. 但当网络超过 20 层的时候, 结果会随着网络深度的增加而下降. 网络的层数越深, 梯度之间的相关性会越来越差, 模型也更难优化.
在这里插入图片描述
残差网络 (ResNet) 通过增加映射 (Identity) 来解决网络退化问题. H(x) = F(x) + x通过集合残差而不是恒等隐射, 保证了网络不会退化.

在这里插入图片描述

代码实现

残差块

class BasicBlock(tf.keras.layers.Layer):
    """
    定义残差块
    """

    def __init__(self, filter_num, stride=1):
        super(BasicBlock, self).__init__()

        self.conv1 = tf.keras.layers.Conv2D(filter_num, kernel_size=(3, 3), strides=stride, padding="same")
        self.bn1 = tf.keras.layers.BatchNormalization()  # 标准化
        self.relu = tf.keras.layers.Activation("relu")

        self.conv2 = tf.keras.layers.Conv2D(filter_num, kernel_size=(3, 3), strides=1, padding="same")
        self.bn2 = tf.keras.layers.BatchNormalization()  # 标准化

        # 如果步长不为1, 用1*1的卷积实现下采样
        if stride != 1:
            self.downsample = tf.keras.Sequential(tf.keras.layers.Conv2D(filter_num, kernel_size=(1, 1), strides=stride))
        else:
            self.downsample = lambda x: x  # 返回x

    def call(self, inputs, training=None):

        # unit1
        out = self.conv1(inputs)
        out = self.bn1(out, training=training)
        out = self.relu(out)

        # unit2
        out = self.conv2(out)
        out = self.bn2(out, training=training)

        identity = self.downsample(inputs)  # 降采样
        output = tf.keras.layers.add([out, identity])  # 相加
        output = tf.nn.relu(output)

        return output

超参数

# 定义超参数
batch_size = 1024  # 一次训练的样本数目
learning_rate = 0.0001  # 学习率
iteration_num = 5  # 迭代次数
optimizer = tf.keras.optimizers.Adam(learning_rate=learning_rate)  # 优化器
loss = tf.losses.CategoricalCrossentropy(from_logits=True)  # 损失

ResNet 18 网络

ResNet_18 = tf.keras.Sequential([
    # 初始层
    tf.keras.layers.Conv2D(filters=64, kernel_size=(3, 3), strides=(1, 1)),  # 卷积
    tf.keras.layers.BatchNormalization(),
    tf.keras.layers.Activation("relu"),
    tf.keras.layers.MaxPool2D(pool_size=(2, 2), strides=(1, 1), padding="same"),  # 池化

    # 8个block(每个为两层)
    BasicBlock(filter_num=64, stride=1),
    BasicBlock(filter_num=64, stride=1),
    BasicBlock(filter_num=128, stride=2),
    BasicBlock(filter_num=128, stride=1),
    BasicBlock(filter_num=256, stride=2),
    BasicBlock(filter_num=256, stride=1),
    BasicBlock(filter_num=512, stride=2),
    BasicBlock(filter_num=512, stride=1),
    tf.keras.layers.GlobalAveragePooling2D(),  #池化

    # 全连接层
    tf.keras.layers.Dense(100)  # 100类
])

# 调试输出summary
ResNet_18.build(input_shape=[None, 32, 32, 3])
print(ResNet_18.summary())

获取数据

def pre_process(x, y):
    """数据预处理"""

    x = tf.cast(x, tf.float32) * 2 / 255 - 1 # 范围-1~1
    y = tf.one_hot(y, depth=100)

    return x, y


def get_data():
    """获取数据"""

    # 读取数据
    (X_train, y_train), (X_test, y_test) = tf.keras.datasets.cifar100.load_data()
    y_train, y_test = tf.squeeze(y_train, axis=1), tf.squeeze(y_test, axis=1)   # 压缩目标值

    # 分割数据集
    train_db = tf.data.Dataset.from_tensor_slices((X_train, y_train)).shuffle(10000).map(pre_process).batch(batch_size)
    test_db = tf.data.Dataset.from_tensor_slices((X_test, y_test)).map(pre_process).batch(batch_size)

    return train_db, test_db

完整代码

来, 让我们干了这杯酒, 来看完整代码.

在这里插入图片描述
完整代码:

import tensorflow as tf


class BasicBlock(tf.keras.layers.Layer):
    """
    定义残差块
    """

    def __init__(self, filter_num, stride=1):
        super(BasicBlock, self).__init__()

        self.conv1 = tf.keras.layers.Conv2D(filter_num, kernel_size=(3, 3), strides=stride, padding="same")
        self.bn1 = tf.keras.layers.BatchNormalization()  # 标准化
        self.relu = tf.keras.layers.Activation("relu")

        self.conv2 = tf.keras.layers.Conv2D(filter_num, kernel_size=(3, 3), strides=1, padding="same")
        self.bn2 = tf.keras.layers.BatchNormalization()  # 标准化

        # 如果步长不为1, 用1*1的卷积实现下采样
        if stride != 1:
            self.downsample = tf.keras.Sequential(
                tf.keras.layers.Conv2D(filter_num, kernel_size=(1, 1), strides=stride))
        else:
            self.downsample = lambda x: x  # 返回x

    def call(self, inputs, training=None):

        # unit1
        out = self.conv1(inputs)
        out = self.bn1(out, training=training)
        out = self.relu(out)

        # unit2
        out = self.conv2(out)
        out = self.bn2(out, training=training)

        identity = self.downsample(inputs)  # 降采样
        output = tf.keras.layers.add([out, identity])  # 相加
        output = tf.nn.relu(output)

        return output


# 定义超参数
batch_size = 1024  # 一次训练的样本数目
learning_rate = 0.0001  # 学习率
iteration_num = 5  # 迭代次数
optimizer = tf.keras.optimizers.Adam(learning_rate=learning_rate)  # 优化器
loss = tf.losses.CategoricalCrossentropy(from_logits=True)  # 损失

ResNet_18 = tf.keras.Sequential([
    # 初始层
    tf.keras.layers.Conv2D(filters=64, kernel_size=(3, 3), strides=(1, 1)),  # 卷积
    tf.keras.layers.BatchNormalization(),
    tf.keras.layers.Activation("relu"),
    tf.keras.layers.MaxPool2D(pool_size=(2, 2), strides=(1, 1), padding="same"),  # 池化

    # 8个block(每个为两层)
    BasicBlock(filter_num=64, stride=1),
    BasicBlock(filter_num=64, stride=1),
    BasicBlock(filter_num=128, stride=2),
    BasicBlock(filter_num=128, stride=1),
    BasicBlock(filter_num=256, stride=2),
    BasicBlock(filter_num=256, stride=1),
    BasicBlock(filter_num=512, stride=2),
    BasicBlock(filter_num=512, stride=1),
    tf.keras.layers.GlobalAveragePooling2D(),  # 池化

    # 全连接层
    tf.keras.layers.Dense(100)  # 100类
])

# 调试输出summary
ResNet_18.build(input_shape=[None, 32, 32, 3])
print(ResNet_18.summary())

# 组合
ResNet_18.compile(optimizer=optimizer, loss=loss, metrics=["accuracy"])


def pre_process(x, y):
    """数据预处理"""

    x = tf.cast(x, tf.float32) * 2 / 255 - 1  # 范围-1~1
    y = tf.one_hot(y, depth=100)

    return x, y


def get_data():
    """获取数据"""

    # 读取数据
    (X_train, y_train), (X_test, y_test) = tf.keras.datasets.cifar100.load_data()
    y_train, y_test = tf.squeeze(y_train, axis=1), tf.squeeze(y_test, axis=1)  # 压缩目标值

    # 分割数据集
    train_db = tf.data.Dataset.from_tensor_slices((X_train, y_train)).shuffle(10000).map(pre_process).batch(batch_size)
    test_db = tf.data.Dataset.from_tensor_slices((X_test, y_test)).map(pre_process).batch(batch_size)

    return train_db, test_db


if __name__ == "__main__":
    # 获取分割的数据集
    train_db, test_db = get_data()

    # 拟合
    ResNet_18.fit(train_db, epochs=iteration_num, validation_data=test_db, validation_freq=1)

输出结果:

Model: "sequential_16"
_________________________________________________________________
Layer (type)                 Output Shape              Param #   
=================================================================
conv2d_70 (Conv2D)           (None, 30, 30, 64)        1792      
_________________________________________________________________
batch_normalization_17 (Batc (None, 30, 30, 64)        256       
_________________________________________________________________
activation_9 (Activation)    (None, 30, 30, 64)        0         
_________________________________________________________________
max_pooling2d_26 (MaxPooling (None, 30, 30, 64)        0         
_________________________________________________________________
basic_block_8 (BasicBlock)   (None, 30, 30, 64)        74368     
_________________________________________________________________
basic_block_9 (BasicBlock)   (None, 30, 30, 64)        74368     
_________________________________________________________________
basic_block_10 (BasicBlock)  (None, 15, 15, 128)       230784    
_________________________________________________________________
basic_block_11 (BasicBlock)  (None, 15, 15, 128)       296192    
_________________________________________________________________
basic_block_12 (BasicBlock)  (None, 8, 8, 256)         920320    
_________________________________________________________________
basic_block_13 (BasicBlock)  (None, 8, 8, 256)         1182208   
_________________________________________________________________
basic_block_14 (BasicBlock)  (None, 4, 4, 512)         3675648   
_________________________________________________________________
basic_block_15 (BasicBlock)  (None, 4, 4, 512)         4723712   
_________________________________________________________________
global_average_pooling2d_1 ( (None, 512)               0         
_________________________________________________________________
dense_16 (Dense)             (None, 100)               51300     
=================================================================
Total params: 11,230,948
Trainable params: 11,223,140
Non-trainable params: 7,808
_________________________________________________________________
None
Epoch 1/20
49/49 [==============================] - 43s 848ms/step - loss: 3.9558 - accuracy: 0.1203 - val_loss: 4.6631 - val_accuracy: 0.0100
Epoch 2/20
49/49 [==============================] - 41s 834ms/step - loss: 3.0988 - accuracy: 0.2525 - val_loss: 4.9431 - val_accuracy: 0.0112
Epoch 3/20
49/49 [==============================] - 41s 828ms/step - loss: 2.5981 - accuracy: 0.3518 - val_loss: 5.2123 - val_accuracy: 0.0150
Epoch 4/20
49/49 [==============================] - 40s 824ms/step - loss: 2.1962 - accuracy: 0.4464 - val_loss: 5.4619 - val_accuracy: 0.0230
Epoch 5/20
49/49 [==============================] - 41s 828ms/step - loss: 1.8086 - accuracy: 0.5450 - val_loss: 5.4788 - val_accuracy: 0.0313
Epoch 6/20
49/49 [==============================] - 41s 827ms/step - loss: 1.4073 - accuracy: 0.6611 - val_loss: 5.6753 - val_accuracy: 0.0386
Epoch 7/20
49/49 [==============================] - 41s 827ms/step - loss: 1.0093 - accuracy: 0.7791 - val_loss: 5.3822 - val_accuracy: 0.0671
Epoch 8/20
49/49 [==============================] - 41s 829ms/step - loss: 0.6361 - accuracy: 0.8905 - val_loss: 5.0999 - val_accuracy: 0.0961
Epoch 9/20
49/49 [==============================] - 41s 829ms/step - loss: 0.3532 - accuracy: 0.9587 - val_loss: 4.7099 - val_accuracy: 0.1366
Epoch 10/20
49/49 [==============================] - 41s 828ms/step - loss: 0.1799 - accuracy: 0.9874 - val_loss: 4.1926 - val_accuracy: 0.1899
Epoch 11/20
49/49 [==============================] - 41s 828ms/step - loss: 0.0964 - accuracy: 0.9965 - val_loss: 3.6718 - val_accuracy: 0.2504
Epoch 12/20
49/49 [==============================] - 41s 827ms/step - loss: 0.0580 - accuracy: 0.9986 - val_loss: 3.3465 - val_accuracy: 0.2876
Epoch 13/20
49/49 [==============================] - 41s 828ms/step - loss: 0.0390 - accuracy: 0.9995 - val_loss: 3.1585 - val_accuracy: 0.3219
Epoch 14/20
49/49 [==============================] - 41s 828ms/step - loss: 0.0286 - accuracy: 0.9996 - val_loss: 3.1677 - val_accuracy: 0.3271
Epoch 15/20
49/49 [==============================] - 41s 830ms/step - loss: 0.0231 - accuracy: 0.9996 - val_loss: 3.1084 - val_accuracy: 0.3384
Epoch 16/20
49/49 [==============================] - 41s 829ms/step - loss: 0.0193 - accuracy: 0.9997 - val_loss: 3.1312 - val_accuracy: 0.3452
Epoch 17/20
49/49 [==============================] - 41s 829ms/step - loss: 0.0165 - accuracy: 0.9997 - val_loss: 3.1519 - val_accuracy: 0.3413
Epoch 18/20
49/49 [==============================] - 41s 828ms/step - loss: 0.0140 - accuracy: 0.9997 - val_loss: 3.1658 - val_accuracy: 0.3435
Epoch 19/20
49/49 [==============================] - 41s 827ms/step - loss: 0.0123 - accuracy: 0.9997 - val_loss: 3.1867 - val_accuracy: 0.3433
Epoch 20/20
49/49 [==============================] - 41s 828ms/step - loss: 0.0111 - accuracy: 0.9997 - val_loss: 3.2123 - val_accuracy: 0.3447

注: 我们可以看出 ResNet18 比 VGG13 的准确率高了一大截.

在这里插入图片描述
祝全天下的父亲节日快乐!

我是小白呀
关注
专栏目录
经典卷积网络--ResNet残差网络
冲出仁川，走出马德里，故事还会再继续
05-15 3051
经典卷积网络--ResNet残差网络1、ResNet残差网络2、tf.keras实现残差结构3、tensorflow2.0实现ResNet18(使用CIFAR10数据集) 借鉴点：层间残差跳连，引入前方信息，减少梯度消失，使神经网络层数变身成为可能。 1、ResNet残差网络   ResNet 即深度残差网络，由何恺明及其团队提出，是深度学习领域又一具有开创性的工作，通过对残差结构的运用，ResNet 使得训练数百层的网络成为了可能，从而具有非常强大的表征能力，其网络结构如图所示。   ResNet
ResNet的TensorFlow实现
01-22
VGGNet和GoogLeNet等网络都表明有足够的深度是模型表现良好的前提，但是在网络深度增加到一定程度时，更深的网络意味着更高的训练误差。误差升高的原因是网络越深，梯度弥散[还有梯度爆炸的可能性]的现象就越明显，所以在后向传播的时候，无法有效的把梯度更新到前面的网络层，靠前的网络层参数无法更新，导致训练和测试效果变差。所以ResNet面临的问题是怎样在增加网络深度的情况下有可以有效解决梯度消失的问题。ResNet中解决深层网络梯度消失的问题的核心结构是残差网络。
resnet的tensorflow实现
xys430381_1的专栏
10-20 408
TensorFlow 使用预训练模型 ResNet-50 Tensorflow实战：ResNet原理及实现（多注释） 用slim实现的基本网络结构及其预训练模型 https://github.com/tensorflow/models/tree/master/research/slim 其中的踩坑记录 ...
TensorFlow2学习十六、实现ResNet（一）创建简单的ResNet模型
编程圈子-谢厂节的博客
12-06 3175
一、Resnet简介 深度残差网络（Residual Network, 简写为 ResNet）由微软研究院的Kaiming He等四名华人提出，通过使用ResNet Unit成功训练出了152层的神经网络，并在ILSVRC2015比赛中取得冠军，在top5上的错误率为3.57%，同时参数量比VGGNet低，效果非常突出。ResNet的结构可以极快的加速神经网络的训练，模型的准确率也有比较大的提升。...
Tensorflow实现网络---Resnet
weixin_45156079的博客
06-29 1511
Tensorflow实现网络—Resnet 一、什么残差网格 对于传统的深度学习网络，我们普遍认为网络深度越深（参数越多）非线性的表达能力越强，该网络所能学习到的东西就越多。我们凭借这一基本规则，经典的CNN网络从LetNet-5（5层）和AlexNet（8层）发展到VGGNet(16-19)，再到后来GoogleNet（22层）。 根据VGGNet的实验结果可知，在某种程度上网络的深度对模型的性能至关重要，当增加网络层数后，网络可以进行更加复杂的特征模式的提取，所以当模型更深时理论上可以取得更好的结果，从
tensorflow-densenet-resnet-inception网络
05-18
在深度学习领域，TensorFlow是一种广泛使用的开源库，它提供了构建和训练复杂神经网络的强大工具。本文件聚焦于三种在图像识别任务中表现卓越的网络结构：DenseNet、ResNet以及Inception Network。这些模型都在CIFAR...
基于tensorflow实现resnet网络.zip
最新发布
03-30
在本文中，我们将深入探讨如何基于TensorFlow框架实现ResNet（残差神经网络）这一深度学习模型。ResNet是深度学习领域的一个里程碑，由Kaiming He等人在2015年的ImageNet竞赛中提出，它成功解决了深度神经网络中的...
Residual-Networks.zip_-baijiahao_47W_python residual_python残差网络
07-13
总结来说，"Residual-Networks.zip"这个压缩包很可能包含了使用Python和PyTorch实现的残差神经网络代码，包括ResidualBlock的定义以及整个ResNet模型的搭建。通过学习和理解这个实现，开发者可以深入理解ResNets的...
keras的resnet，inceptionV3，xception模型--------
12-15
在深度学习领域，Keras是一个极其重要的开源库，它为TensorFlow、Microsoft Cognitive Toolkit (CNTK) 和 Theano 提供了高级别的神经网络API。Keras的易用性和灵活性使得它成为研究人员和工程师构建深度学习模型的...
TensorFlow2.0_ResNet:使用TensorFlow-2.0的ResNet（ResNet18，ResNet34，ResNet50，ResNet101，ResNet152）实现
05-22
TensorFlow2.0_ResNet 使用TensorFlow-2.0的ResNet（ ResNet18，ResNet34，ResNet50，ResNet101，ResNet152 ）实现 有关更多的CNN，请参见 。 火车 要求： Python> = 3.6 Tensorflow == 2.0.0 要在自己的数据集上训练ResNet，可以将数据集放在原始数据集文件夹下，目录应如下所示： |——original dataset |——class_name_0 |——class_name_1 |——class_name_2 |——class_name_3 运行脚本split_dataset.py将原始数据集拆分为训练集，有效集和测试集。 更改config.py中的相应参数。 运行train.py开始培训。 评估 运行valuate.py评估模型在测
resnet18-tf2:ResNet-18的简单TensorFlow 2实现
04-02
resnet18-tf2 TensorFlow ResNet的正式似乎未包括ResNet-18或ResNet-34。 该代码库提供了ResNet-18和ResNet-34的简单（ ）TensorFlow 2实现，直接从PyTorch的torchvision转换而来。 模型输出已经过验证，可与火炬视觉模型的输出以浮点精度匹配。 此代码已使用以下软件包版本进行了测试： tensorflow==2.4.1 pytorch==1.2.0 torchvision==0.4.0
在tensorflow中实现ResNet
angelbeats11的博客
01-01 826
一、数据预处理和格式转换 1、在kaggle上下载了一个数据踩了一个巨坑，图像有三通道和四通道的图像，导致后续tfrecord读取造成唯独不匹配，用opencv写了一个脚本转换图像 #-*- encoding:utf-8 -*- #将4通道图像转换成3通道 import os import cv2 save_dir = './train_convert' origin_dir = './tr
ResNet详解以及Tensorflow2实现(resnet_v1/v2_34/50/101)
qq_40326280的博客
02-03 1433
ResNet_Tensorflow2实现 ResNet引入 在VGG-19中，卷积网络达到了19层，在GoogLeNet中，网络史无前例的达到了22层。 网络层数越高包含的函数空间也就越大，理论上网络的加深会让模型更有可能找到合适的函数。 但实际上，网络的精度会随着网络的层数增多而增多吗？在深度学习中，网络层数增多一般会伴着下面几个问题 计算资源的消耗 模型容易过拟合 梯度消失/梯度爆炸问题的产生 根据实验表明，随着网络的加深，优化效果反而越差，测试数据和训练数据的准确率反而降低了。这是由于网络的加深会
TensorFlow实现ResNet
Swayzzu的博客
11-11 5214
目录 1.概述 2.Basic_Block ① __init__ ②call 3.Resnet ①build_block ②__init__ ③call 1.概述 通过tensorflow实现ResNet，需要先定义最小模块basic_block，在其中实现最基本的ResNet前向传播以及短接功能；之后定义ResNet模块，通过堆叠不同个数的basic_block，并拼接到一起，实现ResNet的功能实现。 2.Basic_Block ① __init__ 在这里面定义好.
TensorFlow学习－－ResNet实现
sinat_22510827的博客
02-22 341
github上用ResNet模型对CIFAR-10数据集进行分类，链接：CIFAR-10 ResNet model  CIFAR-10数据集，链接：The CIFAR-10 dataset ResNet结构 从AlexNet之后神经网络有两个发展方向，一是调整网络结构，二是增加网络深度，如下所示：   LeNet→AlexNet→{NIN→InceptionV1→InceptionV2→Inc...
使用TensorFlow实现ResNet
CVAIDL的博客
03-28 683
作为在ILSVRC 2015比赛中取得了冠军的网络结构，ResNet借鉴吸收了以往的网络结构的优点，完全抛弃了全连接层，使用残差学习方法解决了在信息传递时出现的信息丢失，损耗等问题，使整个网络只需要学习输入，输出差别的那一部分，简化了学习目标和学习难度。 忽略掉繁琐的解释和代码逻辑实现，我们现在简单地讲解一下RetNet的实现原理，并且利用这些原理便可以看懂相关的代码甚至写出自己的Re...
ResNet图像识别与tensorflow实现
热门推荐
linchuhai的博客
03-11 1万+
1. 引言     前面我们介绍了VGGNet在图像识别中的应用，在VGGNet中，作者提出随着CNN网络层数的加深，模型的效果会进一步得到提升，但是在这篇论文提出来之后，有学者发现，随着层数的加深，当深度达到一定数值之后，模型的准确率不仅没有提升，反而下降了，如图所示：     最开始有学者以为是梯度消失或爆炸的问题导致的，但是这个问题可以被Batch Normalization解决，并且加了...
tensorflow2 实现resnet并训练保存加载模型
qq_42001765的博客
07-04 2029
tensorflow2 实现resnet搭建模型BasicBlockResNetresnet18加载数据集训练保存评估模型 搭建模型 resnet18由4个基础的block组成，每个block有两层网络，block的结构如下。右边的箭头表示将x与f(x)相加，这样可以让经过一个block之后的效果至少不会比没有经过的差。这也是为什么resnet网络能够达到这么深的原因。 BasicBlock 1.每个block由两层网络组成，每层网络由卷积层、batchnormalization层和激活函数组成。 2.当
Resnet-50实现的猫狗识别系统设计
"该资源是关于基于卷积神经网络Resnet-50的猫狗识别系统设计与实现的论文，涵盖了从数据集选择、预处理、模型构建到模型训练的全过程。" 在本文中，作者探讨了如何利用深度学习技术，特别是Resnet-50卷积神经网络，...
评论 31
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值