论文阅读EfficientNeighbourhood Consensus Networks via Submanifold Sparse Convolutions

最新推荐文章于 2024-09-03 17:31:12 发布
最新推荐文章于 2024-09-03 17:31:12 发布
阅读量146 收藏 1
点赞数 1
文章标签： 论文阅读 Powered by 金山文档
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lyk12138/article/details/129599851
版权

ECCV2020 作者（Inria+ENS计算机科学系+DEEPMIND）

Background

先检测再匹配：SIFT在光照变化的情况下受限；基于学习的对光照变化改进很多，但是对于相机视点问题还不够，尤其是使用局部特征的方法，外观变化大时漏检

对图像进行稠密的特征提取可以克服上述问题，但是属于内存密集型的（内存占用），定位不够准确（分辨率的问题，低分辨率下一个点对应原图的一个格子）

Motivation

NCNet：存储量大、推理时间长、对应点的定位准确度差

Idea

原来NCNet使用的全部可能对应点，改为使用稀疏的correlation（子流形稀疏卷积）

使用一个两阶段重定位过程(guided search)

Method

Stage 1:

  • 稠密特征提取

  • 特征匹配：相比于原始NCNet计算了所有像素的correlation并存储，本文为每个像素选取TOP K个匹配对，为了让得到的correlation对输入图像的顺序具有不变性，得到的稀疏correlation有A-B和B-A两个单边相加（H×W×H×W->H×W×2×K）是对取最高得分和取全部匹配的一个折中，提高速度的同时保持了低的存储量。

  • 过滤correlation map：通过一个稀疏的转置不变CNN网络（由两个4D的CNN组成），转置（改变特征的前两维和后两维顺序），使得输出不受输入图片顺序影响

  • 获得匹配对：取correlation最大值

Stage2：重定位（hard relocalisation+softrelocalisation）

通过Sparse-NCNet在H×W得到粗匹配，指导获得2倍分辨率下的准确定位。

讲输入图像上采样得到2倍分辨率下的图像，输入到CNN获得特征图，下采样得到原始尺寸的特征图，输入得到stage1的结果。找到2倍分辨率中对应的匹配位置

  • Hard-relocalisation：（(I,j),(k,l)）->((2i,2j),(2k,2l))，在2倍分辨率图中找到对应点周围的局部块2×2

计算两图中局部块的匹配，找到最大的点，得到偏移量

  • soft-relocalisation：形成新的局部块3×3，通过对块内的匹配计算加权匹配，得到新的偏移量，算出最终匹配

Experiment

在数据集HPatches和InLOC以及Aachen Day-Night上测试

lyk12138
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Efficient Neighbourhood Consensus Networks via Submanifold Sparse Convolutions
u010260681的博客
06-10 1067
本文的目的是输入一个image pair 然后得到他们的匹配 内存消耗大，推理时间长，对应关系局部性差。我们提出的修改可以减少10倍以上的内存占用和执行时间，并且效果相当。这是通过对包含试探性匹配的相关张量进行稀疏化，然后使用子流形稀疏卷积对其进行4D CNN后续处理来实现的。通过以更高的分辨率处理输入图像（这是可能的，因为减少了内存占用），以及通过一个新的两级对应重定位模块，定位精度显著提高。提出的稀疏NCNet方法在HPatches序列和InLoc视觉定位基准上获得了最新的结果，在Aachen昼.
Patch2Pix（CVPR 2021）特征点检测与匹配论文精读笔记
秋山丶雪绪的博客
12-22 1万+
（CVPR 2021）Patch2Pix: Epipolar-Guided Pixel-Level Correspondences 深度学习特征点检测与匹配论文精读笔记
特征点检测与匹配相关论文梳理（持续更新）
秋山丶雪绪的博客
02-27 5078
按简介、网络结构、损失三个部分梳理特征点检测与匹配相关论文，尽可能包含重要细节
Neighbourhood Consensus Networks
u010260681的博客
06-10 2140
原因是选择一个特定匹配的步骤对于所有可能的特征集是不可微的。此外，在特征重复的情况下，将匹配分配给第一个最近邻可能导致不正确的匹配，在这种情况下，硬分配将丢失关于随后最近邻的有价值信息。这也是经典的匹配难题 首先计算dense feature： 然后计算两两之间的相似性：-》构造一个四维度的tensor，这样存储有一个好处是可以方便计算邻域信息 输入的大小是固定的h*w。在这里有两个先验：1>正确的匹配具有一定的一致性2>正确匹配的周围匹配相互支持（邻域一致性） ...
阅读笔记--[CVPR2018] 3D Semantic Segmentation with Submanifold Sparse Convolutional Networks
qq_37109317的博客
02-01 1449
文章目录一、Introduction二、Spatial Sparsity for Convolutional Networks三、Submanifold Convolutional Networks1、Sparse Convolution Operations2、Implementation四、Submanifold FCNs and U-Nets for Semantic Segmentation五、Experiments 一、Introduction 卷积网络(ConvNets)构成了最先进的方法，用
Learning Efficient Convolutional Networks Through Network Slimming论文阅读笔记
pytorch内部机制解读
06-08 298
作者：张松 论文链接：https://arxiv.org/abs/1708.06519 代码：https://github.com/liuzhuang13/slimming 概述： 此方法基于channel-wise，提出将L1正则化施加到BN层的缩放因子上，L1正则化推动BN层的趋向于零，这使得能够鉴别出不重要的通道或者神经元，因为每一个都和一个特定的CNN卷积通道（或者全连接层的一个神经元）相关联。这有助于后续的通道剪枝，另外正则化也很少损伤性能，甚至一些情况下它会导致更高的泛化准确率，剪掉不重要的通道
CVPR 2021最全论文开放下载！附pdf下载链接！
中科院AI算法工程师的博客
06-18 1万+
CVPR 2021最全论文开放，附所有pdf下载链接！
CVPR2018下载+CVPR2018论文百度云+2018CVPR论文下载+2018CVPR百度云
王博（Kings）的博客
06-25 4914
链接：https://pan.baidu.com/s/1QUXtDp5RQVNx-R55TkL13Q 提取码：
顶会速递 | ICLR 2020录用论文全集
语言智能技术笔记簿
03-10 1万+
由深度学习三巨头Yoshua Bengio和Yann LeCun牵头创办的人工智能顶会ICLR今年最终收到2594篇投稿，共687篇论文被接收，其中48篇orals，108篇spotlights，531篇posters，录取率为26.5%，相比去年的31.4%略有下降。华人学者占比为47%。这篇博客为大家列出全部录用的论文列表，方便大家自取。
CVPR 2017论文集锦（论文分类）—— 附录部分翻译
热门推荐
dengheCSDN的博客
08-23 2万+
作为计算机视觉领域的三大顶级会议之一，CVPR 2017 又收录了很多优秀的文章。具体可参见 CVPR 的论文官网：http://www.cvpapers.com/cvpr2017.html        Machine Learning 1 （机器学习） Spotlight 1-1A  （关注的焦点 1-1 A） Exclusivity-Consistency Regular
AAAI 2022 论文列表
gbstack08的专栏
02-15 2万+
链接及代码之后会更新 GitHub链接：https://github.com/gbstack/AAAI-2022-papers Scaled ReLU Matters for Training Vision Transformers Pichao Wang, Xue Wang, Hao Luo, Jingkai Zhou, Zhipeng Zhou, Fan Wang, Hao Li, Rong Jin Search Strategies for Topological Network Optimizat
论文笔记：Estimating future human trajectories from sparse time series data
qq_40206371的博客
08-31 359
sigspatial 2023 humob竞赛paper。
【论文阅读】SwiftTheft: A Time-Efficient Model Extraction Attack Framework（2024）
Glass_Gun的博客
09-03 461
这份文件是一篇关于人工智能安全领域的研究论文，标题为“SwiftTheft: A Time-Efficient Model Extraction Attack Framework Against Cloud-Based Deep Neural Networks”，作者是来自中国武汉大学和浙江大学的研究人员
[论文笔记] LLaVA
心宝的博客
09-02 156
把 Image + Instruction 给到 LLaVA，把 GT 的 Image description 和 Instruction 给到 Text-only 的 GPT-4。如图中所示，对于每张图片都会生成一份多轮对话数据，包含 query 和 answer 部分，整体组织成一个序列 (q1, a1, q2, a2, qT, aT)，所有的 answer 作为模型回答，第一轮指令随机选择 (q1, 图片) 或者 (图片, q1)，后面就直接使用对应轮次 qT 了。Projection：使用。
[论文笔记] LLM模型剪枝
心宝的博客
09-02 181
LLaMA2在剪枝时，跳过ffn和跳过full layer的效果差不多。相比跳过ffn/full layer，跳过attention layer的影响会更小。跳过attention layer：7B/13B从100%参数剪枝到66%，平均指标只下降1.7～1.8pp。跳过ffn：7B/13B从100%参数剪枝到66%，平均指标下降了12.2～15.1pp。跳过full later：7B/13B从100%参数剪枝到66%，平均指标下降了12.2～13pp。
论文笔记: 智能电力系统综述
最新发布
BINGO's BLOG
09-03 340
电力调度是智能电网运行的一大核心问题，其目的是在满足时空变化的电力负荷条件下提供电网的最优运行点。这一功能需要在一天内每隔几分钟运行一次，因此快速、准确的调度决策方法至关重要。但是，由于问题的复杂性，可靠且高效的决策方法仍在不断探索的过程中。随着可再生能源的大规模并网以及灾害性气候的不断恶化，智能电网对调度决策方法提出了更为严苛的要求。近年来，以深度学习为代表的人工智能方法在不少领域取得巨大成功，因此深度学习也被电气工程领域寄予厚望，国内外研究者开始重新思考智能电网的调度决策问题。
【论文阅读】为大规模航空图像应用神经辐射场
WoooChi的博客
08-31 1341
Enabling Neural Radiance Fields (NeRF) for Largescale Aerial Images – A Multi-tiling Approach and the Geometry Assessment of NeRF 部分翻译
论文阅读：MambaVision: A Hybrid Mamba-Transformer Vision Backbone
ghost_him的博客
09-03 340
作者提出了一种新型的混合 Mamba-Transformer 主干网络。通过重新设计 Mamba 公式，增强了其高效建模视觉特征的能力。此外，作者还通过对 ViT 与 Mamba 消融研究，实验结果表明了：在最后几层为 Mamba 架构配备几个自注意力模块，可以极大地提高捕获长程空间依赖关系的建模能力。最后，作者根据他们的发现，设计了一系列具有层次结构的 MambaVision 模型，最终取得了最佳的性能。
COD论文笔记 BiRefNet
985小菜鸡
09-03 376
本质还是一个 U 型编码器解码器结构的分割模型。我可以考虑将©和(d)结合，即对解码器的输入不进行 patchify,同时在各个阶段引入梯度参考信息最近的相关工作，中间监督、额外先验(频率，梯度，边缘等)取得不错效果作者观察到，对原始图像进行导数运算获得梯度特征，可以很好地反映图像对象中的细微和非显著特征。双边参考是在解码器中的两个辅助信息：1.层次化的原始图像块2.梯度监督信息(对于颜色和纹理上与背景高度相似时，梯度信息过于微弱，此时越引入真实GT特征作为侧向监督)
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值