ResNet 09

已于 2023-09-12 20:59:39 修改
阅读量368 收藏
点赞数
文章标签： cnn
于 2023-09-08 12:31:41 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/peng_258/article/details/132756873
版权

一、发展

1989年，Yann LeCun提出了一种用反向传导进行更新的卷积神经网络，称为LeNet。

1998年，Yann LeCun提出了一种用反向传导进行更新的卷积神经网络，称为LeNet-5

AlexNet是2012年ISLVRC 2012（ImageNet Large Scale Visual Recognition  Challenge）竞赛的冠军网络，分类准确率由传统的 70%+提升到 80%+。 它是由Hinton和他的学生Alex Krizhevsky设计的。也是在那年之后，深度学习开始迅速发展。


VGG在2014年由牛津大学著名研究组VGG (Visual Geometry  Group) 提出，斩获该年ImageNet竞 赛中 Localization Task (定位 任务) 第一名 和 Classification Task (分类任务) 第二名。[1.38亿个参数]

GoogLeNet在2014年由Google团队提出，斩获当年ImageNet竞赛中Classification Task (分类任务) 第一名。[论文：Going deeper with convolutions][600多万参数]

ResNet在2015年由微软实验室提出，斩获当年ImageNet竞赛中 分类任务第一名，目标检测第一名。获得COCO数据集中目标 检测第一名，图像分割第一名。[论文：Deep Residual Learning for Image Recognition]

lmageNet数据集是ILSVRC竞赛使用的是数据集，由斯坦福大学李飞飞教授主导，包含了超过1400万张全尺寸的有标记图片，大约有22000个类别的数据。ILSVRC全称ImageNet Large-Scale VisualRecognition Challenge，是视觉领域最受追捧也是最具权威的学术竞赛之一，代表了图像领域的最高水平。从2010年开始举办到2017年最后一届，使用ImageNet数据集的一个子集，总共有1000类。

该比赛的获胜者从2012年开始都是使用的深度学习的方法，12年之前都是传统方法

二、ResNet

2.1 网络特点

  • 超深的网络结构(突破1000层)
  • 提出residual模块
  • 使用Batch Normalization加速训练(丢弃dropout)

 正常网络，网络越深，错误率越高；而ResNet是网络越深，错误率越低

梯度消失或梯度爆炸问题：BN解决

退化问题：残差解决

F(x)是卷积对x的结果，最终结果是x+F(x)

如果网络效果变好：x+F(x)

如果加上网络不好：x+ 0

2.2 残差

左边是基础的残差结构

右边是改进的结构，减少参数

实线与虚线

实线是，图片输入与输出维度不变 

虚线是，图片整体长宽的下降

2.3 BN

Batch Normalization的目的是使我们的一批（Batch）  feature map满足均值为0，方差为1的分布规律[参考]。

Darren214
关注
基于ResNet18实现昆虫分类任务
CSDN 精品推荐
10-11 7056
本案例使用的数据集是一个昆虫分类的数据集，包含蚂蚁和蜜蜂两类样本。训练集位于datasets/train/ 目录下，两类的图片分别位于ants和bees目录下验证 集位于datasets/val/ 目录下，两类的图片分别位于ants和bees目录下。
ResNet网络的训练和预测
吴建明wujianming_110117
02-17 3723
ResNet网络的训练和预测 简介 Introduction 图像分类与CNN 图像分类 是指将图像信息中所反映的不同特征，把不同类别的目标区分开来的图像处理方法，是计算机视觉中其他任务，比如目标检测、语义分割、人脸识别等高层视觉任务的基础。 ImageNet 大规模视觉识别挑战赛（ILSVRC），常称为 ImageNet 竞赛，包括图像分类、物体定位，以及物体检测等任务，推动计算机视觉领域发展最重要的比赛之一。 在2012年的 ImageNet 竞赛中，深度卷积网络 AlexNet 横空出世。以超出第二名
49. 残差网络（ResNet）
weixin_47505105的博客
12-29 1238
残差块使得很深的网络更加容易训练甚至可以训练一千层的网络残差网络对随后的深层神经网络设计产生了深远影响，无论是卷积类网络还是全连接类网络。
深度学习（9）---ResNet详解
最新发布
m0_62881487的博客
08-17 1240
5. ResNet后面跟的数字，如ResNet18、ResNet50、ResNet101等，代表的是该网络结构中特定层的总数，具体来说，这个数字通常指的是卷积层与全连接层的和，而不包括池化层、批量归一化（BN）层等其他类型的层。这些数字反映了网络的深度，即网络的复杂度。3. 解决上述问题（模型走偏）的方法：每一次增加函数复杂度之后的函数所覆盖的区域会包含原来函数所在的区域（嵌套函数（nested function）），只有当较复杂的函数包含复杂度较小的函数时，才能确保提高它的性能，如下图所示。
Cifar10-using-Resnet9-arch
03-21
Cifar10-using-Resnet9-arch 下载数据集的链接，请单击下面的链接： : 在此模型中，我使用Resnet9架构来创建图像分类模型，在此模型中，我还使用了卷积神经网络，该网络在图像分类模型上非常有用，我使用Pytorch语言与该项目一起工作。 首先，我们对数据集进行规范化，以便我们可以在0到1之间调整值。然后，我们使用卷积神经网络训练模型，以便能够正确预测图像的标签。
深度学习总结（lecture 9）Residual Network （ResNet）
malele4th
02-28 2444
lecture 9：Residual Network （ResNet） 目录 lecture 9：Residual Network （ResNet） 目录 1、残差网络基础 1.1 VGG19、ResNet34结构图 1.2 ResNet残差块 1.3 梯度弥散和网络退化 1.4 残差块变体 1.5 ResNet模型变体 1.6 Residual Network补充 1.7 1*1卷积...
Github项目-CNNResnet9-残差神经网络水果多分类项目
qq_29487479的博客
12-01 1181
【代码】Github项目-CNNResnet9-残差神经网络水果多分类项目。
cnn stride and padding_9 大主题卷积神经网络（CNN）的 PyTorch 实现
weixin_39860166的博客
11-19 183
红色石头的个人网站：红色石头的个人博客-机器学习、深度学习之路​www.redstonewill.com大家还记得这张图吗？之前，红色石头发文介绍过一份很不错的资源：52 个深度学习目标检测模型汇总，论文、源码一应俱全！深度系统介绍了 52 个目标检测模型，纵观 2013 年到 2020 年，从最早的 R-CNN、OverFeat 到后来的 SSD、YOLO v3 再到去年的 M2Det，新模型层...
ResNet详解
热门推荐
qq_45649076的博客
09-26 18万+
1.什么是ResNet？ ResNet 网络是在 2015年 由微软实验室中的何凯明等机位大神提出，斩获当年ImageNet竞赛中分类任务第一名，目标检测第一名。获得COCO数据集中目标检测第一名，图像分割第一名。 2.网络中的亮点 1.超深的网络结构（超过1000层）。 2.提出residual（残差结构）模块。 3.使用Batch Normalization 加速训练（丢弃dropout）。 3.为什么采用residual? 在ResNet提出之前，所有的神经网络都是通过卷积层和池化层的叠加组成的。
resnet152训练_resnet152 网络结构
weixin_39790738的博客
12-20 1770
理解并实现 ResNet(Keras)本文为 AI 研习社编译的技术博客，原标题 ：Understanding and Coding a ResNet in Keras作者 |Priya Dwivedi @ Deep Learning Analytics翻译 | linlh、通夜 编辑 | 邓普斯•杰弗、...文章雷锋网2019-06-051107浏览量深度学习之四大经典CNN技术浅析 | ...
ResNet（Residual Neural Network）的原理和tf实现
qq_27009517的博客
05-08 4404
文章目录1.Highway Network简介2.模型加深存在的问题3.为什么深度模型难以训练3.1.链式法则与梯度弥散4.ResNet的特点5.VGGNet-19 VS ResNet-34（ResNet的创新点）6.ResNet不同层数的网络配置7.TensorFlow 实现ResNet V2网络resnet_v1_101网络图 ResNet（Residual Neural Network）由微...
Tensorflow实现ResNet及其原理
IMWTJ123的博客
11-25 1782
 一、ResNet由微软研究院的Kaiming He等4名华人提出，有152层深的神经网络，在ILSVRC 2015比赛中获得冠军，其top-5错误率为3.57%，但参数量比VGGNet低，可以说效果很好了。ResNet和HighWay Network非常类似，也是允许原始输入信息直接传输到后面的层中，如图1所示，这就是一个ResNet的残差学习单元，ResNet相当于将学习目标改变，不再是学习一...
深度学习网络——resnet
无九不知名的博客
09-05 958
深度学习网络——resnet导入包定义常用卷积两层残差块的实现三层残差块的实现整个网络的实现不同网络层的实现 论文链接：https://arxiv.org/pdf/1512.03385.pdf 代码链接：https://pytorch.org/docs/stable/_modules/torchvision/models/resnet.html 导入包 导入需要使用的包，并声明可用的网络和预训练好的模型 # -*- coding:UTF-8 -*- # import torch # import torc
Resnet残差网络|卷积神经网络|原理|新人总结
xl_xaio的博客
09-23 8483
Resnet使深层网络更加容易训练，使用残差连接让新的网络至少不会比旧的网络差，并且保证梯度不会消失可以一直跑得动。理论上不加残差网络也能够学到这么一个东西，但是实际上做不到，因为没有引导。而Resnet正是引导整个网络不会走偏，使得它训练出一个更深更好的模型。
深度学习卷积神经网络CNN之ResNet模型网络详解说明（超详细理论篇）
qq_55433305的博客
06-11 1万+
ResNet背景、ResNet论文、ResNet模型结构、ResNeResNet 在2015 年由微软研究院提出的一种深度卷积神经网络结构，主要的创新是在网络中引入了残差模块（residual block），其中输入和输出之间添加了一个跳跃连接（skip connection），将输入直接加到输出上。这种跳跃连接的设计使得网络可以更轻松地学习残差，从而解决了梯度消失和模型退化的问题。ResNet-18、ResNet-34、ResNet-50、ResNet-101和ResNet-152等
【深度学习】ResNet网络详解
1900的博客
10-16 2万+
ResNet
【Mo 人工智能技术博客】残差网络（ResNet）
Mo 的博客
07-07 9932
残差网络 残差网络（Residual Network简称ResNet）是在2015年继Alexnet Googlenet VGG三个经典的CNN网络之后提出的，并在ImageNet比赛classification任务上拔得头筹，ResNet因其简单又实用的优点，现已在检测，分割，识别等领域被广泛的应用。    ResNet可以说是过去几年中计算机视觉和深度学习领域最具开创性的工......
resnet网络结构_融合算法九---ResNet
weixin_39592789的博客
11-21 1192
一.简介 ResNet是residual network(残差网络)的缩写，论文《Infrared and Visible Image Fusion with ResNet and zero-phase component analysis》。https://github.com/hli1221/imagefusion_resnet50​github.com 论文中，作者探讨了...
ResNet详细解读
花有重开日 人无再少年
10-22 8万+
这篇文章是Deep Residual Learning for Image Recognition 的翻译，精简部分内容的同时补充了相关的概念，如有错误，敬请指正。
调用卷积神经网络框架实现mnist数据集分类。卷积神经网络框架（包括Alexnet、Vgg、Lenet、Resnet等）可自行选择
05-25
好的，我以PyTorch框架为例，实现mnist数据集分类任务。 首先，我们需要导入相关的库和数据集。PyTorch自带了mnist数据集，我们可以直接使用。代码如下： ``` python import torch import torch.nn as nn import torch.optim as optim from torchvision import datasets, transforms # 定义数据预处理，将数据转换为tensor并进行归一化 transform = transforms.Compose([ transforms.ToTensor(), transforms.Normalize((0.1307,), (0.3081,)) ]) # 加载mnist数据集 train_dataset = datasets.MNIST('data/', train=True, download=True, transform=transform) test_dataset = datasets.MNIST('data/', train=False, download=True, transform=transform) # 定义数据加载器，用于批量加载数据 train_loader = torch.utils.data.DataLoader(train_dataset, batch_size=64, shuffle=True) test_loader = torch.utils.data.DataLoader(test_dataset, batch_size=64, shuffle=False) ``` 接下来，我们可以定义卷积神经网络模型。这里以LeNet-5为例，代码如下： ``` python class LeNet5(nn.Module): def __init__(self): super(LeNet5, self).__init__() self.conv1 = nn.Conv2d(1, 6, kernel_size=5) self.pool1 = nn.MaxPool2d(kernel_size=2) self.conv2 = nn.Conv2d(6, 16, kernel_size=5) self.pool2 = nn.MaxPool2d(kernel_size=2) self.fc1 = nn.Linear(16 * 4 * 4, 120) self.fc2 = nn.Linear(120, 84) self.fc3 = nn.Linear(84, 10) def forward(self, x): x = self.pool1(torch.relu(self.conv1(x))) x = self.pool2(torch.relu(self.conv2(x))) x = x.view(-1, 16 * 4 * 4) x = torch.relu(self.fc1(x)) x = torch.relu(self.fc2(x)) x = self.fc3(x) return x ``` 在模型定义好后，我们需要定义损失函数和优化器。这里使用交叉熵损失函数和Adam优化器，代码如下： ``` python model = LeNet5() # 实例化模型 criterion = nn.CrossEntropyLoss() # 定义损失函数 optimizer = optim.Adam(model.parameters(), lr=0.001) # 定义优化器 ``` 接下来，我们可以开始训练模型。代码如下： ``` python # 训练过程 def train(model, train_loader, criterion, optimizer): model.train() for batch_idx, (data, target) in enumerate(train_loader): optimizer.zero_grad() output = model(data) loss = criterion(output, target) loss.backward() optimizer.step() # 测试过程 def test(model, test_loader, criterion): model.eval() test_loss = 0 correct = 0 with torch.no_grad(): for data, target in test_loader: output = model(data) test_loss += criterion(output, target).item() pred = output.argmax(dim=1) correct += pred.eq(target).sum().item() test_loss /= len(test_loader.dataset) accuracy = 100. * correct / len(test_loader.dataset) return test_loss, accuracy for epoch in range(10): train(model, train_loader, criterion, optimizer) test_loss, accuracy = test(model, test_loader, criterion) print('Epoch: {}, Test Loss: {:.4f}, Accuracy: {:.2f}%'.format(epoch+1, test_loss, accuracy)) ``` 训练10个epoch，输出如下： ``` Epoch: 1, Test Loss: 0.0317, Accuracy: 98.98% Epoch: 2, Test Loss: 0.0286, Accuracy: 99.03% Epoch: 3, Test Loss: 0.0268, Accuracy: 99.05% Epoch: 4, Test Loss: 0.0295, Accuracy: 99.02% Epoch: 5, Test Loss: 0.0264, Accuracy: 99.09% Epoch: 6, Test Loss: 0.0354, Accuracy: 98.83% Epoch: 7, Test Loss: 0.0322, Accuracy: 98.95% Epoch: 8, Test Loss: 0.0283, Accuracy: 99.07% Epoch: 9, Test Loss: 0.0284, Accuracy: 99.09% Epoch: 10, Test Loss: 0.0271, Accuracy: 99.11% ``` 可以看到，LeNet-5在mnist数据集上的分类准确率达到了99%以上。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值