Pytorch使用大核的卷积神经网络: RepLKNet

最新推荐文章于 2024-06-11 13:41:08 发布
最新推荐文章于 2024-06-11 13:41:08 发布
阅读量1.2k 收藏 7
点赞数 4
分类专栏： 深度学习 文章标签： pytorch cnn 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/makao007/article/details/127675862
版权

RepLKNet 项目在这里： https://github.com/DingXiaoH/RepLKNet-pytorch

使用最简单的方法是：

from replknet import create_RepLKNet31B
model = create_RepLKNet31B(num_classes=10)


# 这样没有优化，运行起来非常慢。

要加速，就是安装加速代码：

下载，解压 cutlass.zip

cd /examples/19_large_depthwise_conv2d_torch_extension

安装 

sudo python setup.py install --user

验证是否安装成功:

python depthwise_conv2d_implicit_gemm.py

# 添加环境变量：
pwd             #/home/ubuntu/code/cutlass/examples/19_large_depthwise_conv2d_torch_extension
vi ~/.bashrc
export PYTHONPATH=/home/ubuntu/code/cutlass/examples/19_large_depth

最低0.47元/天 解锁文章
makao007
关注
  • 4
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 5
    评论
专栏目录
RepLKNet实战：使用RepLKNet实现对植物幼苗的分类（非官方）（一）
AI浩
05-25 3061
RepLKNet实战摘要论文解读论文的贡献挑战传统认知整体架构安装包1、安装timm2、安装apex数据增强Cutout和Mixup项目结构计算mean和std生成数据集 摘要 本文通过对植物幼苗分类的实际例子来感受一下超大核的魅力所在。这篇文章能让你学到： 通过对论文的解读，了解RepLKNet超大核的设计思想和架构。 如何使用数据增强，包括transforms的增强、CutOut、MixUp、CutMix等增强手段？ 如何调用自定义的模型？ 如何使用混合精度训练？ 如何使用梯度裁剪防
YOLOv8最新改进系列：YOLOv8+RepLKNet，超大核模型，精度嘎嘎提升，小目标检测性能嘎嘎提升，提升效果拉满！！！
weixin_51692073的博客
09-11 2526
RepLKNet的作者受到了vision transformers (ViT) 最新进展的启发,提出了31×31的超大核模型，与小核 CNN 相比，大核 CNN 具有更大的有效感受野和更高的形状偏差而不是纹理偏差。借鉴 Swin Transformer 的宏观架构，提出了一种架构 RepLKNet。在 ImageNet 上获得 87.8% 的 top-1 准确率，在 ADE20K 上获得 56.0% mIoU，这在具有相似模型大小的最先进技术中非常具有竞争力。
RepLKNet-YoloV5
m0_46179553的博客
03-27 4452
背景简介 自从VGG提出以后，各种CNN网络层出不穷，但是他们都遵循了VGG的设计思想，通过多个小卷积核叠加来得到大的感受野同时保证较少的参数量（2个3x3的卷积核感受野和5x5的卷积核感受野相同，但是参数18<25）。随着ViT逐渐在各类视觉任务中拿到SOTA的表现，CNN似乎有点后继无力。RepLKNet打破了这种现象，旷世科技研究员发现，kernel szie对模型性能尤其是分割、检测等下游任务至关重要，提出在CNN网络中大量采用超大卷积核的模型并结合结构重参数化、depthwise等，RepL
RepLKNet实战：使用RepLKNet实现对植物幼苗的分类（非官方）
05-25
本文通过对植物幼苗分类的实际例子来感受一下超大核的魅力所在。这篇文章能让你学到： 通过对论文的解读，了解RepLKNet超大核的设计思想和架构。 如何使用数据增强，包括transforms的增强、CutOut、MixUp、CutMix等增强手段？ 如何调用自定义的模型？ 如何使用混合精度训练？ 如何使用梯度裁剪防止梯度爆炸？ 如何使用DP多显卡训练？ 如何绘制loss和acc曲线？ 如何生成val的测评报告？ 如何编写测试脚本测试测试集？ 如何使用余弦退火策略调整学习率？ 原文链接：https://blog.csdn.net/hhhhhhhhhhwwwwwwwwww/article/details/124959038
保姆级使用PyTorch训练与评估自己的Replknet网络教程
啥都生的博客
03-10 1055
Replknet网络
DepthwiseConv2D和Conv2D详解
热门推荐
u010879745的博客
08-17 1万+
depthwise_conv2d和conv2d的不同之处在于conv2d在每一深度上卷积，然后求和，depthwise_conv2d卷积，不求和。 [https://www.cnblogs.com/itmorn/p/11250371.html] depthwise_conv2d 如下张量x和卷积核K进行depthwise_conv2d卷积 结果为： import tensorflow as tf # [batch, in_height, in_width, in_channels] input =t
DepthwiseConv2D深度卷积
weixin_38740463的博客
05-07 8370
1.DepthwiseConv2D（深度可分离 2D 卷积） 仅执行深度空间卷积中的第一步（其分别作用于每个输入通道） 普通卷积： 可以发现，卷积计算时卷积核每一个out_channel的两个通道分别和输入的两个通道做卷积相加，得到feature map的一个channel 即，每个每张特征图（3通道），可与卷积核（3维），分别通道进行卷积，相加后生成一维的特征图 ...
RepLKNet学习笔记
QT-Smile
03-17 198
RepLKNet学习笔记
pytorch_pytorch_卷积神经网络_
09-29
卷积神经网络在pytorch下的实现，包含MNist数据集
pytorch实现CNN卷积神经网络
12-20
本文为大家讲解了pytorch实现CNN卷积神经网络，供大家参考，具体内容如下 我对卷积神经网络的一些认识  卷积神经网络是时下最为流行的一种深度学习网络，由于其具有局部感受野等特性，让其与人眼识别图像具有相似性...
python课程设计大作业-PyTorch实现图像识别基于卷积神经网络的识别方法RMB.zip
06-29
python课程设计大作业—PyTorch实现图像识别基于卷积神经网络的识别方法RMB。已获导师指导并通过的高分项目。 python课程设计大作业—PyTorch实现图像识别基于卷积神经网络的识别方法RMB。已获导师指导并通过的高分...
PyTorch可视化理解卷积神经网络
02-24
本文来自于segmentfault，文章使用图片加...如果你是一个深度学习爱好者，你可能早已听说过这种神经网络，并且可能已经使用一些深度学习框架比如caffe、TensorFlow、pytorch实现了一些图像分类器。然而，这仍然存在一个
tf.nn.conv2d() / tf.nn.depthwise_conv2d() 和 Batchsize效益
沈春旭的博客
01-14 1万+
1. 卷积函数tf.nn.conv2d()  tf.nn.conv2d(input, filter, strides, padding, use_cudnn_on_gpu=True, data_format='NHWC',dilations=[1, 1, 1, 1], name=None) 对于给定的4-D张量输入，利用给定的filter执行2-D卷积运算。 ...
RepLKNet代码解读（31大小的卷积核）
weixin_45193103的博客
06-09 1846
模型总览：模型主要包括三个模块，1.Stem。2.Stages。3.Transitions。stem指的是一开始的层，因为作者的目标是下游dense-prediction任务，所以作者说这是为了一开始能够获取更多的细节。在一开始的3*3 with 2*的下采样之后，安排了一个DW3*3的layer来capture low-level patterns,一个1*1的卷积以及另外的一个DW 3*3 的layer来进行下采样。首先一开始输入的x是（2，3，224，224）的维度的，借助观察x的维度变化来理解mod
实现卷积的几种代码方式
gldzkjdxwzs的博客
08-14 4687
对卷积代码的学习，有官方api调用和手写复现
BEVFusion（北大&阿里）环境搭建教程
豆奶泡油条
11-19 9032
这是今年新发的一篇论文，我在第一次阅读时，代码还未开源，前几天发现开源了，而且这个框架做的很清晰，可以基于这个工作熟悉一下融合方案，也能稍稍改进一下。笔者环境：
RepLKNet
AI浩
05-27 2314
replknet.py # Scaling Up Your Kernels to 31x31: Revisiting Large Kernel Design in CNNs (https://arxiv.org/abs/2203.06717) # Github source: https://github.com/DingXiaoH/RepLKNet-pytorch # Licensed under The MIT License [see LICENSE for details] # Based on C
【语义分割系列】基于camvid数据集的Deeplabv3+分割算法（二）
最新发布
qq_42782701的博客
06-11 552
在前面的内容中，对比了Camvid数据集在基于不同backbone的Deeplabv3+算法上的效果。在这节内容中，本文将介绍在ghostnet的基础上，进一步优化效果，使得Miou提升。通过引入CFAC和CARAFE结构，有效地提升了模型的miou。
使用Pytorch实现一个卷积神经网络
07-13
以下是一个使用PyTorch实现的简单卷积神经网络的示例代码： ```python import torch import torch.nn as nn # 定义卷积神经网络模型 class ConvNet(nn.Module): def __init__(self): super(ConvNet, self).__...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值