CS231n Lecture 9: CNN architectures

最新推荐文章于 2023-12-08 19:53:08 发布
最新推荐文章于 2023-12-08 19:53:08 发布
阅读量203 收藏
点赞数
分类专栏： CS231n 学习笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43996402/article/details/115795563
版权

文章目录

AlexNet

在这里插入图片描述

这里使用了两个GPU来训练，因为当时的GPU不够强大

CONV1，2，4，5中的feature map的连接只在相同的GPU中有，而CONV3，FC6，FC7，FC8的feature map的连接会跨GPU

ZFNet

在这里插入图片描述

在AlexNet的基础上调了超参数

CONV1: 将 11x11 步长为4的卷积核换成了7x7步长为2的卷积核

CONV3，4，5 分别用了512，1024，512个卷积核

VGGNet

在这里插入图片描述

可以看到，VGG用了更深的网络

同时，3个33，步长为1的卷积层和1个77 的卷积层的感受野实际上是一样的，但是，使用的卷积核小意味着我们可以让网络更加深，并且为网络加入更多的非线性，相比于用7*7的卷积核每层的参数也更少

在这里插入图片描述

通过对VGG的参数分析可以看出，VGG使用的参数太多了！

在全连接层就将近有一个亿的参数

在这里插入图片描述

GoogLeNet

在这里插入图片描述

GoogLeNet拥有更深的网络，同时计算起来也非常有效率

左边的想法会导致卷积会变得越来越深，参数越来越多，而右边可以解决这个问题

在这里插入图片描述

ResNet

整个模型的设计是参照VGG进行设计的

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-UVmLBA8X-1618643000875)(https://s3-us-west-2.amazonaws.com/secure.notion-static.com/f091b46d-2385-4d38-abbc-9c463cf11367/Untitled.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Vkm4MJdt-1618643000877)(https://s3-us-west-2.amazonaws.com/secure.notion-static.com/9f1abe5b-5193-4c83-a98c-ed5d7fe7ec59/Untitled.png)]

越深的模型应该至少表现得和没那么深的模型一样好，因为可以恒等映射

但是事实上并不是这样的，因此作者提出了算差值的方法来训练网络，这样至少不会让深的模型表现得很差

在这里插入图片描述

这里作者提出了一个叫做bottleneck的模块，借鉴了GoogleNet的思想，这样可以不管上一层的深度如何，这一层的输入的深度都会是64

不过它纯是为了节省计算时间进而缩小整个模型训练所需的时间而设计的，对训练精度没有影响
在这里插入图片描述

QingYuAn_Wayne
关注
专栏目录
【cs231n】lecture 9 CNN Architectures
Tra_cy的博客
11-09 1071
文章目录AlexNetZFNetVGGNet 这个专题主要介绍的是几种典型的CNN架构。 AlexNet 输入：227*227*3的图像矩阵。 第一层（CONV1）：96个步长为4，大小为11*11的卷积核，经过第一层后的输出大小为55*55*96，参数个数为11*11*3*96。 第二层（POOL1）：3*3的卷积核，步长为2，输出大小为27*27*96，池化层没有参数。 ZFNet 和Al...
Lecture 9: CNN Architectures
qq_36356761的博客
04-25 247
CS231n Lecture 9: CNN Architectures Case Studies LeNet-5 AlexNet ZFNet VGGNet smaller filters:Stack of three 3x3 conv (stride 1) layers has same effective receptive field as one 7x7 conv la...
cs231n：Lecture 6: CNN Architectures
2301_79012932的博客
12-08 457
问题2回答：三个3x3的卷积层（步幅为1）的有效感受野与一个7x7的卷积层相同。这是因为通过堆叠多个3x3的卷积层，网络可以学习更复杂的特征，而这些特征在整体上等效于一个较大滤波器的感受野。其次，它们引入了更多的非线性，从而使网络能够学习更复杂的特征。（3x3 卷积） 问题：三个 3x3 卷积层（步幅为 1）的有效感受野是多少？三个 3x3 的卷积层（步幅为 1）堆叠具有与一个 7x7 的卷积层相同的有效感受野。一种构造性的解决方案是从更浅模型中复制已学习的层，并将额外的层设置为恒等映射。
cs231n'18：Lecture 9 | CNN Architectures
FortiLZ的博客
06-26 313
Lecture 9 主要是讲了几个主流的CNN的实现。这几种CNN每一个拿出来都值得好好研究一番，所以这里泛泛的讲没有什么意义。大概看看就行了。Lecture 9链接
CS231n: Lecture 9 | CNN Architectures Summary
KunBB的博客
09-28 769
Lecture 9主要讲了一些经典的、比较流行的网络结构，详细讲解了AlexNet、ZFNet、VGGNet、GoogleNet和ResNet。
cs231n lecture9 CNN Architectures
feitianlzk的博客
03-20 246
AlexNet CONV - MAXPOOL - NORM(not common) CONV - MAXPOOL - NORM CONV - CONV - CONV - MAXPOOL FC - FC - FC local response normalization VGG deeper (16-19layers) small filter (3x3 CONV stride...
CS231n笔记 Lecture 9, CNN Architectures
weixin_30678821的博客
03-03 175
Review: LeNet-5 1998 by LeCun, one conv layer. Case Study: AlexNet[Krizhevsky et al. 2012] It uses a lot of mordern techniques where is still limited to historical issues (seperated feature m...
cs231n spring 2017 lecture9 CNN Architectures
weixin_30852367的博客
12-06 110
参考《deeplearning.ai 卷积神经网络 Week 2 听课笔记》。 1. AlexNet（Krizhevsky et al. 2012），8层网络。 　　学会计算每一层的输出的shape：对于卷积层，输出的边长 =（输入的边长 - filter的边长）/ 步长 + 1，输出的通道数等于filter的数量。每个filter的通道数等于输入的通道数。卷积层的参数 = filter...
CS231n Lecture9
qq_33669204的博客
12-03 304
CNN ArchitectureAlexNetVGGGooLeNetResNetother architecturesNetwork in NetworkIdentity Mappings in Deep Residual NetworksWide Residual NetworksResNeXtDeep Networks with Stochastic DepthUltra-Deep Neura...
笔记——CNN Architectures（cs231n 斯坦福计算机视觉公开课）
qq_25222187的博客
11-23 397
常见的 CNN Architectures LeNet-5 AlexNet  VGG GoogLeNet ResNet 一些计算： 全连接层、卷积、池化操作对于维度的改变： Fully Connected Layer：暴力拉平操作，不管原来是什么样的长*宽*深。 假设上图是一个分类神经网络的最后两层，该全连接层连接着输出层，输出层给出...
斯坦福CS231n - CNN for Visual Recognition（8）-lecture6学习率更新、超参数调优
zhili8866的博客
12-01 6853
本节主要讲了神经网络学习率退火和超参数调优等问题 学习率更新学习率衰减　　训练深度网络时，让学习率随着时间退火通常很有帮助。如果学习率很高，系统的动能就过大，参数向量就会无规律地跳动，不能够稳定到损失函数更深更窄的部分去。　　何时开始衰减学习率是有技巧的：缓慢减小它，可能很长时间内只能是浪费计算资源地看着它混沌地跳动，实际进展很少。而如果快速地减小它，系统可能过快地失去能量，不能到达原本可以到达的最
[CS231n Assignment 2 #04 ] 卷积神经网络(Convolutional Networks )
qq_41341454的博客
12-11 2030
文章目录作业介绍1. Convolution: Naive forward pass 作业介绍 课堂笔记：[Lecture 9 ] CNN Architectures（CNN架构） 作业主页：Assignment 2 作业目的：为了使深度神经网络更好的得到训练，一个方案是使用更复杂的优化方法：SGD+Momentum，Adam，RMSProp等。另一个方案就是改变网络结构，比如我们这节要完成的批量归一化。 官方示例代码： Assignment 2 code 作业源文件 ConvolutionalNetwo
Java 代码实现了一个简单的文本编辑器-可运行
10-17
Java 代码实现了一个简单的文本编辑器
MATLAB实现基于Attention-LSTM的多特征分类预测（含完整的程序和代码详解）
10-17
内容概要：本文详细介绍了如何使用MATLAB实现基于Attention机制的LSTM模型进行多特征分类预测。主要内容包括程序设计思路、代码实现、模型构建与训练、模型评估及可视化、以及简单的GUI界面设计。模型可以在多个领域应用，如金融数据分析、医疗诊断等。 适合人群：对深度学习和分类预测感兴趣的科研人员和开发人员，具备一定的MATLAB和深度学习基础。 使用场景及目标：适用于需要处理时间序列数据并进行分类预测的项目。目标是通过Attention-LSTM模型提高分类准确率，同时提供直观的可视化结果和友好的用户界面。 其他说明：文中提供了详细的代码实现和注释，读者可以通过实践加深对模型的理解。此外，还讨论了模型优化和未来的研究方向。
基于Flask和SQLAlchemy 的简易仓库管理系统源码(期末课程设计).zip
10-17
基于Flask和SQLAlchemy 的简易仓库管理系统源码(期末课程设计).zip 1.多数小白下载后，在使用过程，可能会遇到些小问题，若自己解决不了，请及时私信描述你的问题，我会第一时间提供帮助，也可以远程指导 2.项目代码完整可靠，谈不上高分、满分(多数为夸大其词），但难度适中，满足一些毕设、课设要求，且属于易上手的优质项目，项目内基本都有说明文档，按照操作即可，遇到困难也可私信交流 3.适用人群：各大计算机相关专业行业的在校学生、高校老师、公司程序员等下载使用 4.特别是那种爱钻研学习的学霸，强烈推荐此项目，可以二次开发提升自己。如果确定自己是学渣，拿来作毕设、课设直接用也无妨，但自己还是尽可能弄懂项目最好！
民航网上订票系统 JAVA毕业设计 源码+数据库+论文 Vue.js+SpringBoot+MySQL.zip
10-17
民航网上订票系统 JAVA毕业设计 源码+数据库+论文 Vue.js+SpringBoot+MySQL 系统启动教程：https://www.bilibili.com/video/BV11ktveuE2d
JAVA项目报告-闹钟的设计与实现.pdf
10-17
JAVA项目报告-闹钟的设计与实现.pdf
毕业设计论文SpringBoot考试信息报名系统.docx
10-17
毕业设计论文
RJFireWall-maste真资源
最新发布
10-17
RJFireWall-maste真资源
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值