[每日一氵] 随机初始化的RepLKNet感受野小的可怜

于 2024-03-19 00:05:24 发布
阅读量347 收藏 7
点赞数 8
分类专栏： 每日一氵 文章标签： CNN
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/HaoZiHuang/article/details/136825800
版权

论文加工作量，想着把有效感受野加上，用的RepLKNet的代码

https://github.com/DingXiaoH/RepLKNet-pytorch/tree/main/erf

以下仨图分别是 Res101、Res152 和 RepLKNet 31B 在随机初始化且没训练情况下的有效感受野:
(我是在COCO val2017上测试的，分辨率1024x1024)

在这里插入图片描述

RepLKNet-31B此时的感受野也太小了吧，(小小的也很可爱🤣🤣🤣🤣

以下是RepLKNet 原文的图，按理说应该是训练后的图
在这里插入图片描述
有意思，小核ResNet ImageNet训练完毕后，有效感受野变小了，大核RepLKNet ImageNet训练完毕后，有效感受野变大了

github上倒是有老哥和我遇到类似的问题
https://github.com/DingXiaoH/RepLKNet-pytorch/issues/25
作者的回答:
在这里插入图片描述

作者提到"贡献分数的方差较低"，我觉得是当前有效感受野的代码存在问题，按理说梯度都会倒着传过去的

之后有空再调吧…

氵文大师
关注
  • 8
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【第74篇】 FasterNet：CVPR2023年最新的网络，基于部分卷积PConv，性能远超MobileNet，MobileVit
AI浩
03-13 9938
为了设计快速神经网络，许多工作都专注于减少浮点运算(FLOPs)的数量。然而，我们观察到这样的flop减少并不一定会导致类似水平的延迟减少。这主要源于低效的低浮点运算每秒(FLOPS)。为了实现更快的网络，我们重新考察了流行的运算符，并证明了这样低的FLOPS主要是由于运算符频繁的内存访问，特别是深度卷积。因此，我们提出了一种新的部分卷积(PConv)，通过同时减少冗余计算和内存访问，更有效地提取空间特征。
LSKA（大可分离核注意力）：重新思考CNN大核注意力设计
m0_47867638的博客
10-23 2257
大型可分离核注意力（LSKA）模块的视觉注意力网络（VAN）已被证明在各种基于视觉的任务上提供了卓越的性能，超过了视觉转换器（ViTs）。然而，这些LSKA模块中的逐深度卷积层随着卷积核尺寸的增加，计算和内存占用呈二次增长。为了缓解这些问题，并使VAN的注意力模块能够使用极大的卷积核，我们提出了一种大型可分离核注意力模块，称为LSKA。LSKA将深度卷积层的2D卷积核分解为级联的水平1D和垂直1D内核。与标准LKA设计不同，提出的分解使得可以直接使用注意力模块中的深度卷积层的大内核，而不需要任何额外的块。
C#初始化数组的方法小结
01-20
本文实例讲述了C#初始化数组的方法。分享给大家供大家参考，具体如下： C#声明数组并初始化，有三种方式。 对于一维数组： using System; using System.Data; using System.Configuration; using System.Web; using System.Web.Security; using System.Web.UI; using System.Web.UI.WebControls; using System.Web.UI.WebControls.WebParts; using System.Web.UI.HtmlControls; pu
又对ConvNets下手了！详解SLaK：51×51超大kenel如何优化？
CV_Autobot的博客
12-14 355
作者| 科技猛兽 编辑| 极市平台点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取点击进入→自动驾驶之心【全栈算法】技术交流群导读本文作者从稀疏性的角度提出了一个应用超大 Kernel 的方法，它可以平滑地将 Kernel 扩展到 61×61，并具有更好的性能。因此作者将模型命名为稀疏大 Kernel 网络 (SLaK)，一种配备 51×51 卷积核的纯 CNN 架构。1...
[面经整理]（机器/深度学习篇）
weixin_38800498的博客
04-30 2707
文章目录特征工程为什么需要做特征归一化、标准化？常用的归一化和标准化的方法有哪些？模型评估欠拟合、过拟合及如何防止过拟合 陆续更新。。。 特征工程 为什么需要做特征归一化、标准化？ 参考链接 多维情况下可以分解成多个维度上分别下降，参数W为向量，但学习率只有1个，即所有参数维度共用同一个学习率（暂不考虑为每个维度都分配单独学习率的算法）。收敛意味着在每个参数维度上都取得极小值，每个参数维度上的偏导数都为0，但是每个参数维度上的下降速度是不同的，为了每个维度上都能收敛，学习率应取所有维度在当前位置合适步长
Run, Don’t Walk: Chasing Higher FLOPS for Faster Neural Networks
weixin_46687145的博客
01-22 433
神经网络在各种计算机视觉任务中得到了迅速发展，如图像分类、检测和分割。虽然它们令人印象深刻的性能已经为许多应用提供了动力，但一个巨大的趋势是追求具有低延迟和高吞吐量的快速神经网络，以获得良好的用户体验、即时响应、安全原因等。怎样才能快?研究人员和从业人员宁愿设计具有成本效益的快速神经网络，而不是要求更昂贵的计算设备，降低计算复杂度，主要是衡量浮点运算(FLOPs)的数量。
微信小程序首页数据初始化失败的解决方法
08-31
主要介绍了微信小程序首页数据初始化失败的解决方法,非常不错，具有参考借鉴价值，需要的朋友可以参考下
TensorFlow中权重的随机初始化的方法
12-24
一开始没看懂stddev是什么参数，找了一下，在tensorflow/python/ops里有random_ops，其中是这么写的： def random_normal(shape, mean=0.0, stddev=1.0, dtype=types.float32, seed=None, name=None): """Outputs...
神经网络Xavier随机初始化
01-06
该方法的思想是：为了使得网络中信息更好的流动，每一层输出的方差应该尽量相等 具体的推导过程见如下链接： 深度学习——Xavier初始化方法 深度学习中Xavier初始化 推导所得的结果就是使该层中权重参数的每个元素都...
神经网络为什么需要随机初始化模型参数
01-20
在神经网络中，通常需要随机初始化模型参数。下面解释一下这样做的原因。 设有一个多层感知机模型，假设输出层只保留一个输出单元o1o_1o1​，且隐藏层使用相同的激活函数。如果将每个隐藏单元的参数都初始化为相等的...
分布式系统.pptx
04-29
分布式系统.pptx
源代码-360通用ASP防护代码(防sql注入).zip
04-29
源代码-360通用ASP防护代码(防sql注入).zip
node-v8.1.0-darwin-x64.tar.gz
04-29
Node.js，简称Node，是一个开源且跨平台的JavaScript运行时环境，它允许在浏览器外运行JavaScript代码。Node.js于2009年由Ryan Dahl创立，旨在创建高性能的Web服务器和网络应用程序。它基于Google Chrome的V8 JavaScript引擎，可以在Windows、Linux、Unix、Mac OS X等操作系统上运行。 Node.js的特点之一是事件驱动和非阻塞I/O模型，这使得它非常适合处理大量并发连接，从而在构建实时应用程序如在线游戏、聊天应用以及实时通讯服务时表现卓越。此外，Node.js使用了模块化的架构，通过npm（Node package manager，Node包管理器）,社区成员可以共享和复用代码，极大地促进了Node.js生态系统的发展和扩张。 Node.js不仅用于服务器端开发。随着技术的发展，它也被用于构建工具链、开发桌面应用程序、物联网设备等。Node.js能够处理文件系统、操作数据库、处理网络请求等，因此，开发者可以用JavaScript编写全栈应用程序，这一点大大提高了开发效率和便捷性。 在实践中，许多大型企业和组织已经采用Node.js作为其Web应用程序的开发平台，如Netflix、PayPal和Walmart等。它们利用Node.js提高了应用性能，简化了开发流程，并且能更快地响应市场需求。
2020年ti杯电赛省赛A题代码整理
04-29
2020年ti杯电赛省赛a题的项目 分为 手机端（android），主显示端，姿态检测手环端，心率滤波读取端 mcu 采用的是esp32.结合了适配esp32的arduino以及rtos框架进行开发。 开发环境 及 语言 安卓为android studio java开发 esp32为platform io c/c++ 节点间通信方式 tcp直连，手机端为总服务端 手机端 android 原生开发 主显示端 屏幕ili9341 spi 触摸xpt2046 图形 adafruit gfx ad芯片 ads112c04 测温 lmt70 姿态检测端 9轴 bno055 心率检测 心电 ads1292
node-v6.15.0-sunos-x64.tar.gz
04-29
Node.js，简称Node，是一个开源且跨平台的JavaScript运行时环境，它允许在浏览器外运行JavaScript代码。Node.js于2009年由Ryan Dahl创立，旨在创建高性能的Web服务器和网络应用程序。它基于Google Chrome的V8 JavaScript引擎，可以在Windows、Linux、Unix、Mac OS X等操作系统上运行。 Node.js的特点之一是事件驱动和非阻塞I/O模型，这使得它非常适合处理大量并发连接，从而在构建实时应用程序如在线游戏、聊天应用以及实时通讯服务时表现卓越。此外，Node.js使用了模块化的架构，通过npm（Node package manager，Node包管理器）,社区成员可以共享和复用代码，极大地促进了Node.js生态系统的发展和扩张。 Node.js不仅用于服务器端开发。随着技术的发展，它也被用于构建工具链、开发桌面应用程序、物联网设备等。Node.js能够处理文件系统、操作数据库、处理网络请求等，因此，开发者可以用JavaScript编写全栈应用程序，这一点大大提高了开发效率和便捷性。 在实践中，许多大型企业和组织已经采用Node.js作为其Web应用程序的开发平台，如Netflix、PayPal和Walmart等。它们利用Node.js提高了应用性能，简化了开发流程，并且能更快地响应市场需求。
node-v9.3.0-x86.msi
04-29
Node.js，简称Node，是一个开源且跨平台的JavaScript运行时环境，它允许在浏览器外运行JavaScript代码。Node.js于2009年由Ryan Dahl创立，旨在创建高性能的Web服务器和网络应用程序。它基于Google Chrome的V8 JavaScript引擎，可以在Windows、Linux、Unix、Mac OS X等操作系统上运行。 Node.js的特点之一是事件驱动和非阻塞I/O模型，这使得它非常适合处理大量并发连接，从而在构建实时应用程序如在线游戏、聊天应用以及实时通讯服务时表现卓越。此外，Node.js使用了模块化的架构，通过npm（Node package manager，Node包管理器）,社区成员可以共享和复用代码，极大地促进了Node.js生态系统的发展和扩张。 Node.js不仅用于服务器端开发。随着技术的发展，它也被用于构建工具链、开发桌面应用程序、物联网设备等。Node.js能够处理文件系统、操作数据库、处理网络请求等，因此，开发者可以用JavaScript编写全栈应用程序，这一点大大提高了开发效率和便捷性。 在实践中，许多大型企业和组织已经采用Node.js作为其Web应用程序的开发平台，如Netflix、PayPal和Walmart等。它们利用Node.js提高了应用性能，简化了开发流程，并且能更快地响应市场需求。
基于网络爬虫技术的网络新闻分析
最新发布
04-29
基于网络爬虫技术的网络新闻分析主要用于网络数据爬取。本系统结构如下： （1）网络爬虫模块。 （2）中文分词模块。 （3）中3文相似度判定模块。 （4）数据结构化存储模块。 （5）数据可视化展示模块。
毕业设计：python155基于贝叶斯网络的城市火灾预测（源码 + 数据库）
04-29
毕业设计：python155基于贝叶斯网络的城市火灾预测（源码 + 数据库）
项目初始化template
04-29
项目初始化template
创建一个随机初始化的5x3张量
06-02
可以使用PyTorch的torch模块创建一个随机初始化的5x3张量，代码如下： ```python import torch # 创建一个5x3的随机初始化张量 x = torch.rand(5, 3) print(x) ``` 输出结果如下： ``` tensor([[0.2981, 0.3635,...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值