探秘 Involution：代码优化的新篇章

最新推荐文章于 2024-06-17 04:00:00 发布
最新推荐文章于 2024-06-17 04:00:00 发布
阅读量374 收藏 3
点赞数 4
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/gitblog_00021/article/details/138178673
版权

探秘 Involution：代码优化的新篇章

involution[CVPR 2021] Involution: Inverting the Inherence of Convolution for Visual Recognition, a brand new neural operator项目地址:https://gitcode.com/gh_mirrors/in/involution

是一个由开发者 d-li14 创建的开源项目，旨在提供一种新的代码优化策略。该项目的核心是通过“内卷”（Involution）的概念，让代码在保持功能不变的前提下，变得更加高效和简洁。

项目简介

"内卷" 这个术语在社会学中通常指的是过度竞争导致的进步停滞，而在编程领域，Involution 提出了一种新颖的解读：通过智能地重写和重构代码，使得程序在性能上得到提升，同时也增强了代码的可读性和维护性。

技术分析

Involution 使用现代编译器技术和静态分析工具，对输入的源代码进行深度扫描。它能够识别出常见的代码模式，并提出优化建议或者直接自动执行优化。例如，它可以识别并消除冗余计算、改善循环结构，甚至运用函数式编程的思想简化控制流等。

项目采用了模块化设计，各个优化模块可以独立工作，也可以协同完成更复杂的优化任务。此外，Involution 还支持自定义规则和插件，允许开发人员根据自己的项目需求定制优化策略。

应用场景

  • 代码审查：Involution 可以作为代码质量检查工具，帮助开发者发现潜在的性能瓶颈。
  • 自动化重构：在大型项目中，手动重构可能会耗时且容易出错。Involution 能够自动化这一过程，提高效率。
  • 教育与学习：对于初学者来说，观察 Involution 如何优化代码是一种很好的学习方式，可以理解最佳实践和优化技巧。

特点

  1. 智能化：基于机器学习的算法，能自我学习和适应不同的编码风格和优化目标。
  2. 高度可配置：用户可以根据项目需要，选择启用或禁用特定的优化规则。
  3. 跨语言支持：目前，Involution 已经支持包括 Python, Java 和 C++ 在内的多种主流编程语言，未来计划扩展更多的语言支持。
  4. 社区驱动：开放源码，欢迎社区贡献和反馈，不断改进优化策略。

结语

Involution 是一款创新的代码优化工具，不仅提高了代码的运行效率，也提升了代码的可读性和维护性。无论你是经验丰富的开发者还是编程新手，都可以尝试将 Involution 引入到你的开发流程中，享受它带来的便利和效率。加入 Involution 的社区，让我们一起推动代码优化的新进程！

involution[CVPR 2021] Involution: Inverting the Inherence of Convolution for Visual Recognition, a brand new neural operator项目地址:https://gitcode.com/gh_mirrors/in/involution

邢郁勇Alda
关注
  • 4
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
探索前沿代码库：`involution` —— 一个高效的卷积神经网络优化框架
gitblog_00079的博客
04-22 360
探索前沿代码库：involution —— 一个高效的卷积神经网络优化框架 项目地址:https://gitcode.com/wangtunan/involution 项目简介 在深度学习领域，卷积神经网络（CNN）是图像识别、自然语言处理等任务的核心工具。involution 是一个由 WangTunan 开发的创新项目，它提出了一种名为“内卷”（Involution）的新操作，以替代传统的卷积...
CVPR 2021 | 真内卷！Involution：构建新一代视觉识别网络
阿木寺的博客
03-12 9124
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达本文转载自：AI人工智能初学者 | 作者：ChaucerGInvolution: Inverting the In...
[YOLOv7/YOLOv5系列算法改进NO.20]Involution新神经网络算子引入网络
m0_70388905的博客
07-16 3784
为了克服这些经典卷积所存在的这些局限性，所以本文作者提出了involution这个概念在involution运算过程中，内卷具有空间特定性和通道不可知“spatial-specificandchannel-agnostic”（与convolution相反），内卷核在空间范围上是不同的，但在通道上是共享的，作者还通过在通道维数上共享involution核来减少核的冗余。通过逆向设计方案，本文提出的。与上述标准卷积或深度卷积相比，卷积核H旨在包含空间和通道域中具有逆特征的变换，因此得名。......
YOLOv9最新改进系列：Involution新卷积网络算子融合于YOLOv9网络，更大的空间范围中总结上下文信息，助力YOLOv9检测性能再上新台阶！
weixin_51692073的博客
04-15 1075
YOLOv9最新改进系列：Involution新卷积网络算子融合于YOLOv9网络，更大的空间范围中总结上下文信息，助力YOLOv9检测性能再上新台阶！
involution理解
xys430381_1的专栏
12-22 2442
最好的参考来自论文作者的知乎：CVPR 2021 | involution：超越convolution和self-attention的神经网络新算子 其他餐卡： https://zhuanlan.zhihu.com/p/400402288 https://zhuanlan.zhihu.com/p/356960359 https://blog.csdn.net/P_LarT/article/details/115426891 引言 CNN的空间不变性 (spatial-agnostic)和通道特异性 (cha
浅谈Involution与Volo
weixin_43788575的博客
02-22 666
近期阅读了两篇文章, 这两篇文章刚开始的时候给我感觉十分相似。我一度认为VOLO只是将Involution的思想套在了self-attention的框架里，直到这些天看了很多的解读以及自己不断思考，才体会到VOLO相较于Involution思想的不同，以下只是自己的见解，如有错误，请批评指正！ 文章列表 Involution: Inverting the Inherence of Convolution for Visual Recognition（CVPR2021) 下载链接：https://arxiv
CVPR 2021 Involution: Inverting the Inherence of Convolution for Visual Recognition
smile909的博客
03-26 2892
动机 卷积操作具有两个显著特性，即spatial-agnostic和channel-specific。 spatial-agnostic：图像所有位置都使用同一个卷积核，实现了平移不变性。但它剥夺了卷积核在不同空间位置采用不同视觉模式的能力，从而限制了卷积核提取特征的的能力。此外，它还限制了卷积的感受野，对识别小目标或者模糊图像构成了挑战。 channel-specific：每个channel都提取不同类型的特征，产生了数据冗余。这使得卷积核对于不同通道的灵活性受到限制。 方法 提出了Invo
involution:[CVPR 2021]内卷
03-13
involution在设计中架起了convolution与self-attention桥梁，同时比convolution更有效，更有效，而形式上则比self-attention更简单。 入门 该存储库完全基于工具包构建。 对于每个单独的任务，config和model文件...
《Involution：Inverting the Inherence of Convolution for Visual Recognition》论文笔记
m_buddy的博客
07-19 730
参考代码：involution 1. 概述 导读：CNN操作已经被广泛使CV领域，其具有空间无关性（spatial-agnostic）和通道特异性（channel-specific），前一个性质来源于在空间尺度上共享卷积参数，后一个性质来自于输出通道维度上的参数各不相同。在这篇文章中提出了一种性质与之相反的操作involution，通过学习的方式去得到卷积参数，之后经过维度变换之后与unfold之后的特征进行multiply-add，从而得到最后的输出结果，这里用到的multiply-add操作可以看作是
involution.pytorch:使用einops https的Involution的PyTorch实现
03-25
involution.pytorch（） 一个PyTorch实现使用过密的 对合的非官方pytorch实现。 官方实现可以在找到。 特征 该层可以处理任意输入和输出通道，内核大小，步幅和减速比。 但是，输入通道应按组划分。 要求 pytorch >= 1.4.0 einops >= 0.3.0 用法 一个例子： >>> import torch >>> from involution import Involution >>> >>> x = torch.rand(2,8,5,5) >>> i = Involution(in_channels=8, out_channels=4, groups=4, kernel_size=3, stride=2, reduction_ratio=2) >>> i(x).size () torch.Size([2, 4, 3, 3]) 去做 Ima
改进YOLO系列 | CVPR 2021 | Involution：超越convolution和self-attention的神经网络算子
最新发布
weixin_39818775的博客
06-17 815
Involuton是CVPR 2021上提出的新型神经网络算子，旨在超越卷积和自注意力，提供更高效、更具表达力的特征提取能力。Involution核心的第一步是将卷积核分解为多个核点。# 将卷积核分解为多个核点kernel_points = kernel.view(-1, 1, 1, 1) # 将卷积核展开为一维向量Involution使用注意力机制对核点进行加权融合。# 计算注意力权重attention = torch.bmm(q, k.transpose(0, 1)) # 计算注意力矩阵。
CVPR‘21 | Involution：超越convolution和self-attention的神经网络新算子
jacke121的专栏
03-27 2215
本文是对我们CVPR 2021被接收的文章 Involution: Inverting the Inherence of Convolution for Visual Recognition的解读，同时也分享一些我们对网络结构设计（CNN和Transformer）的理解。 这篇工作主要是我和SENet的作者胡杰一起完成的，也非常感谢HKUST的两位导师@陈启峰和张潼老师的讨论。 0 概要 我们的贡献点简单来讲： （1）提出了一种新的神经网络算子（operator或op）称...
Involution 笔记：
Squid87的博客
06-03 1205
Involution 个人理解 ​ 传统卷积具有 ： ​ ①空间不变性：卷积核共享。能有效地节省模型参数，且能维护平移的等变性。由于不能引入过多的参数，所以采用比较小的卷积核，但是小的卷积核（如3*3）不能获得广的感受野 （因此involution更容易检测出大物体） ​ ② 通道特异性：能在不同的通道中包含不同的语义信息，在许多成功的深度神经网络上表现出比较多的冗余性 ​ 原本卷积核需要的参数数量 = C0（输入通道）×Ci（输出通道）×K×K 所以传统卷积比较难去得到长距离的感知，所以提出invo
Involution代码
Beryl的博客
06-23 986
github原址https://github.com/d-li14/involution/blob/21c3158fcbb4ecda8ed4626fcae8b01be511a598/cls/mmcls/models/utils/involution_naive.py#L5 之后会有相关解读 class involution(nn.Module): def __init__(self, channels, kernel_siz
2021论文阅读笔记集合
记忆碎片的博客
08-14 1739
文章目录backbone(HRNetv2)High-Resolution Representations for Labeling Pixels and Regions(RepVGG)RepVGG: Making VGG-style ConvNets Great AgainoperatorDecoupled Dynamic Filter Networks(RedNet)Involution: Inverting the Inherence of Convolution for Visual Recognit
CVPR'21 | involution：超越convolution和self-attention的神经网络新算子
我爱计算机视觉
03-23 2839
本文是对我们CVPR 2021被接收的文章 Involution: Inverting the Inherence of Convolution for Visual Recognitio...
关于GPA Involution的思路+解法+代码
Tan_Yuu的博客
12-27 511
关于GPA Involution（卷绩点）一题的思路+解法+代码+不当解法OP大体思路（姑且算是）解法AC代码不当解法ED 题目来源：2020年浙大城市学院新生程序设计竞赛（同步赛）-K GPA Involution OP 感谢ph姐姐与sl妹妹的倾情指导。 . 大体思路 由题意，对最终结果产生影响的只有所选A/B中最大的扣分值，所以题目的顺序对结果无关，由此我们可以按某一选项分值进行排序（接下来用A，升序），再进行处理。 首先我们先保证由A扣掉的分值尽可能小，即在排序后的某一题之前的所有题全部选A，即由A
Involution 详解与维度推导
full_adder的博客
06-02 882
论文阅读笔记见：https://blog.csdn.net/full_adder/article/details/115426533?spm=1001.2014.3001.5501 使用代码来自大佬的：https://github.com/ChristophReich1996/Involution 流程与论文中基本一致，见下图。在此进行简易的维度梳理（严格来讲没啥能梳理的） 但是组会没有讲的了（划掉） 基本结构 一个Involution层的制作大概分三步，将数据通过游走窗打包，产生核参数，将两者相乘。
involution: inverting the inherence of convolution for visual recognition
06-28
involution是一种用于视觉识别的算法，它反转了卷积的内在特性。它通过将卷积操作中的滤波器权重转换为可学习的点积操作，从而提高了模型的效率和准确性。involution算法在计算机视觉领域中具有广泛的应用，特别是在...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

邢郁勇Alda

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值