Pytorch Note27 卷积设计的一些经验总结

最新推荐文章于 2023-03-23 09:28:10 发布
最新推荐文章于 2023-03-23 09:28:10 发布
阅读量2.1k 收藏 1
点赞数
分类专栏： 🪐Pytorch学习 快乐星球 文章标签： 卷积 算法 网络 深度学习 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45508265/article/details/118971229
版权
本文总结了Pytorch中卷积设计的经验，强调小滤波器组合优于大滤波器，如3x3卷积层的堆叠，能有效提取特征且减少参数。网络尺寸设计包括：输入层常选能被2整除的尺寸，卷积层常用3x3滤波器，池化层多用2x2最大池化，零填充用于保持尺寸一致，防止信息过快丢失。
摘要由CSDN通过智能技术生成

Pytorch Note27 卷积设计的一些经验总结

文章目录


全部笔记的汇总贴： Pytorch Note 快乐星球

小滤波器的有效性

一般而言，几个小滤波器卷积层的组合比一个大滤波器卷积层要好，比如层层堆叠了3个3x3的卷积层，中间含有非线性激活层，在这种排列下面，第一个卷积层中每个神经元对输人数据的感受野是3x3，第二层卷积层对第一层卷积层的感受野也是3x3，这样对于输人数据的感受野就是5x5，同样，第三层卷积层上对第二层卷积层的感受野是3x3，这样第三层卷积层对于第一层输人数据的感受野就是7x7。

假设这里不使用3个3x3的感受野，直接单独使用一个7x7大小的卷积层,那么所有神经元的感受野也是7x7,但是这样会有一些缺点。多个卷积层首先与非线性激活层交替的结构，比单一卷积层的结构更能提取出深层的特征;其次，假设输人数据体的深度是C,输出体的深度也是C,那么单独的7x7的卷积层会有7x7xCxC=49x

了解本专栏 订阅专栏 解锁全文 超级会员免费看
风信子的猫Redamancy
关注
专栏目录
订阅专栏
卷积网络的设计,几个参考点,策略
Jiashilin
04-30 290
目录 引入: 1.操作1, 2. 操作2 3.操作3, 4.操作4 引入: 模型的参数,感受野,感受野越大越好,参数越少越好 1.操作1, 堆叠3*3的小网络代替7*7的卷积核网络,相同的感受野以获得更少的参数 2. 操作2 ,残差设计,网络 3.操作3, 尺寸缩小一倍时候,卷积,池化的核数量扩大一倍,保证特征不丢失 4.操作4 ...
卷积网络的设计
weixin_38740463的博客
05-03 1279
自从 2011 年深度卷积神经网络（CNN）在图像分类任务中优于人类开始，它们就成为了计算机视觉任务中的行业标准，这些任务包括图像分割、目标检测、场景标记、跟踪以及文本检测等等。 然而，训练神经网络的技巧并不容易掌握。与之前的机器学习方法一样，细节是最恐怖的地方，然而在卷积神经网络中有更多的细节需要去管理：你所用的数据和硬件的限制是什么？你应该以哪种网络作为开始呢？AlexNet、VGG、Goo...
卷积设计
kfyong的专栏
03-16 226
神经网络的深度决定什么？ （提取特征的能力，提取特征的抽象程度，他是由于反向的梯度更新决定的，权重更新次数和网络的层数是有关的） 每层神经元的个数决定的是（该网络的非线性能力） 网络设计深更利于特征提取，但是会有梯度消失（反向时每层神经网络连乘），梯度弥散。 相应的何凯明提出了，残差网络，作用是保证后面的反向过程的网络层梯度不为零，反向时加输入值 卷积空间层面（理解为图片rgb...
卷积网络设计入门
weixin_40500230的博客
07-03 368
这篇文章可以作为一个设计指南，为特定分类任务的 CNN 设计提供指导。作者围绕准确率、速度、内存消耗三个指标的权衡，从网络类型、架构设计、数据处理和迁移学习等方面介绍了 CNN 设计过程中使用的方法。 你想开始做图像分类，但是无从着手。应该使用哪个预训练网络？如何修改网络以使其满足需求？你的网络应该包含 20 层还是 100 层？哪些是最快的、最准确的？这些是你为图像分类选择最好的 CNN...
十个有趣的卷积设计
lcvcl的博客
02-26 721
一、卷积只能在同一组进行吗?– Group convolution Group convolution 分组卷积，最早在AlexNet中出现，由于当时的硬件资源有限，训练AlexNet时卷积操作不能全部放在同一个GPU处理，因此作者把feature maps分给多个GPU分别进行处理，最后把多个GPU的结果进行融合。 AlexNet 分组卷积的思想影响比较深远，当前一些轻量级...
Pytorch Note26 卷积神经网络
风信子的猫Redamancy的快乐星球
07-21 2185
Pytorch Note26 卷积神经网络 全部笔记的汇总贴：Pytorch Note 快乐星球 在卷积神经网络中，有三个观点很重要 局部性 对于一张图片而言，需要检测图片中的特征来决定图片的类别，通常情况下这些特征都不是由整张图片决定的，而是由一些局部的区域决定的: 比如下图中的中的鸟喙，该特征只存在于图片的局部中。 相同性 对不同图片，如果它们有同样特征，这些特征出现在图片不同的位置，也就是说可用同样的检测模式去检测不同图片的相同特征，不过这些特征处于图片中不同的位置,但是特征检测所做的操作几儿乎一样
Pytorch Note 快乐星球
风信子的猫Redamancy的快乐星球
06-11 1万+
Pytorch Note 这是我的Pytoch学习笔记，下面会慢慢的更新我的学习笔记 Note1 Pytorch介绍 Note2 Pytorch环境配置
斯坦福NLP课程 | 第11讲 - NLP中的卷积神经网络
www_xuhss_com的博客
05-14 778
🚀 优质资源分享 🚀 学习路线指引（点击解锁） 知识定位 人群定位 🧡 Python实战微信订餐小程序 🧡 进阶级 本课程是python flask+微信小程序的完美结合，从项目搭建到腾讯云部署上线，打造一个全栈订餐系统。 💛Python量化交易实战💛 入门级 手把手带你打造一个易扩展、更安全、效率更高的量化交易系统 作者：韩信子@ShowMeAI，路遥@ShowMeAI，奇异果@ShowMeAI 教程地址：http://www.showmeai.tech/tutorials/36
计算机视觉论文总结系列（一）：目标检测篇
最新发布
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
03-23 8349
本系列主要面向计算机视觉目标检测、图像分割及OCR等领域，每篇将对该领域论文等方面展开介绍，本篇主要介绍目标检测领域历年论文，希望大家能够多多交流如有错误请大家在评论区指正，如有侵权联系删除
深度卷积神经网络的14种设计模式
qq_22885109的博客
11-07 6883
机器之心编译 参与：吴攀、武竞、李泽南、蒋思源、李亚洲 　　这篇论文的作者是来自美国海军研究实验室的 Leslie N. Smith 和来自美国马里兰大学的 Nicholay Topin，他们在本论文中总结了深度卷积神经网络的 14 种设计模式；其中包括：1. 架构结构遵循应用；2. 扩增路径；3. 努力实现简洁；4. 增加对称性；5. 金字塔形状；6. 用训练数据覆盖问题空间；7
卷积神经网络中各个卷积层的设置及输出大小计算的详细讲解
jialibang的博客
08-13 3776
我将从以下几个方面来进行解说：1.卷积神经网络的结构 2.卷积神经网络的计算 3.以AlexNet为例进行详细讲解4.常见的两个卷积层设置的问题 1.卷积神经网络的结构 卷积神经网络（CNN）由输入层、卷积层、激活函数、池化层、全连接层组成，即INPUT（输入层）-CONV（卷积层）-RELU（激活函数）-POOL（池化层）-FC（全连接层） 我们用一个图进行展示： 2.卷积神经网络的计算 卷积神将网络的计算公式为：N=(W-F+2P)/S+1 其中N：输出大小 W：输入大小 F：卷积核大小 P
卷积可视化详解
weixin_40500230的博客
12-10 9042
听麻麻说，偷偷收藏而不感谢是不礼貌的，至少应该点个赞〜我觉得麻麻说的对！ 如果你愿意一层一层剥开CNN的心 - 你会明白它究竟在做什么   一直以来，卷积神经网络对人们来说都是一个黑箱，我们只知道它识别图片准确率很惊人，但是具体是怎么做到的，它究竟使用了什么特征来分辨图像，我们一无所知。无数的学者、研究人员都想弄清楚CNN内部运作的机制，甚至试图找到卷积神经网络和生物神经网络的联系。20...
深度学习网络设计：十大拍案叫绝的卷积设计操作
BigCowPeking
12-09 6782
卷积的十大拍案叫绝的操作一、卷积只能在同一组进行吗?– Group convolutionGroup convolution 分组卷积，最早在AlexNet中出现，由于当时的硬件资源有限，训练AlexNet时卷积操作不能全部放在同一个GPU处理，因此作者把feature maps分给多个GPU分别进行处理，最后把多个GPU的结果进行融合。AlexNet分组卷积的思想影响比较深远，当前一些轻量级的S...
Pytorch Note10 多项式回归
热门推荐
风信子的猫Redamancy的快乐星球
06-12 1万+
Pytorch Note10 多项式回归多项式回归定义多项式模型定义损失函数和优化器训练模型模型参数测试模型 全部笔记的汇总贴：Pytorch Note 快乐星球 多项式回归 什么是多项式回归呢？非常简单，根据上面的线性回归模型 y^=wx+b \hat{y} = w x + b y^​=wx+b 这里是关于 x 的一个一次多项式，这个模型比较简单，没有办法拟合比较复杂的模型，所以我们可以使用更高次的模型，比如 y^=w0+w1x+w2x2+w3x3+⋯ \hat{y} = w_0 + w_1 x + w_
Pytorch Note11 Logistic 回归模型
风信子的猫Redamancy的快乐星球
06-12 1万+
Pytorh Note11 Logistic 回归模型 文章目录Pytorh Note11 Logistic 回归模型Logistic 回归模型模型形式Sigmoid 函数回归问题 vs 分类问题损失函数Logistic 例子定义Logistic 回归模型训练模型 Training拟合曲线 和 结果展示 全部笔记的汇总贴：Pytorch Note 快乐星球 Logistic 回归模型 机器学习中的监督学习主要分为回归问题和分类问题，我们之前已经讲过回归问题了，它希望预测的结果是连续的，那么分类问题所预测的结
Pytorch Note9 线性模型和梯度下降
风信子的猫Redamancy的快乐星球
06-12 1万+
Pytorch Note9 线性模型和梯度下降一元线性回归梯度下降法梯度梯度下降法一维线性模型 全部笔记的汇总贴：Pytorch Note 快乐星球 一元线性回归 说起线性模型，大家对它都很熟悉了，通俗来讲就是给定很多个数据点，希望能够找到一个函数来拟合这些数据点使其误差最小，比如最简单的一元线性模型 一元线性模型非常简单，假设我们有变量 xix_ixi​ 和目标 yiy_iyi​，每个 i 对应于一个数据点，希望建立一个模型 y^i=wxi+b \hat{y}_i = w x_i + b y^​i​=w
Pytorch Note5 动态图和静态图 dynamic-graph
风信子的猫Redamancy的快乐星球
06-11 1万+
Pytorch Note5 动态图和静态图动态图和静态图TensorFlowPyTorch 动态图和静态图 目前神经网络框架分为静态图框架和动态图框架，PyTorch 和 TensorFlow、Caffe 等框架最大的区别就是他们拥有不同的计算图表现形式。 TensorFlow 使用静态图，这意味着我们先定义计算图，然后不断使用它，而在 PyTorch 中，每次都会重新构建一个新的计算图。通过这次课程，我们会了解静态图和动态图之间的优缺点。 对于使用者来说，两种形式的计算图有着非常大的区别，同时静态图和动态
Pytorch Note4 Variable（变量）
风信子的猫Redamancy的快乐星球
06-11 1万+
Pytorch Note4 Variable（变量）Variable（变量）例子(标量求导)矩阵求导小练习 Variable（变量） tensor 是 PyTorch 中的完美组件，但是构建神经网络还远远不够，我们需要能够构建计算图的 tensor，这就是 Variable。Variable 是对 tensor 的封装，操作和 tensor 是一样的，但是每个 Variabel都有三个属性，Variable 中的 tensor本身.data，对应 tensor 的梯度.grad以及这个 Variable 是
深度解析：PyTorch中的卷积神经网络可视化
"本文深入浅出地探讨了卷积神经网络（CNN）的工作原理，并通过PyTorch进行可视化，帮助读者理解CNN如何处理图像数据。文章首先指出，CNN在图像识别和处理领域的高精度表现，已经广泛应用于人脸识别、图像搜索、条形...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

风信子的猫Redamancy

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值