论文阅读--Cross-view Transformers for real-time Map-view Semantic Segmentation

最新推荐文章于 2024-08-23 19:58:14 发布
最新推荐文章于 2024-08-23 19:58:14 发布
阅读量279 收藏 3
点赞数 4
文章标签： 论文阅读 bev 鸟瞰 transformer
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_73202283/article/details/139831593
版权

一种新的2D维度的bev特征提取方案，其通过引入相机先验信息（相机内参和外参）构建了一个多视图交叉注意力机制，能够将多视图特征映射为BEV特征。

cross view attention：BEV位置编码+由根据相机标定结果（内参和外参）演算得到的相机位置编码+多视图特征做attention得到

整体上文章的网络前端使用CNN作为特征抽取网络，中端使用CNN多级特征作为输入在多视图下优化BEV特征（也就是使用了级联优化），后端使用CNN形式的解码器进行输出

​

q：bev下加上map-view embedding进行refine

k：在多视图特征（由CNN网络得到）上也会添加camera-view的embedding进行refine

v：原多视图特征也会经过线型映射

​

为了感知道路的3D位置几何关系还对相机位置进行embedding（代码中为减去操作），并与上述的两种embedding进行关联

因为不知道实际的深度值，所以存在scale上的不确定性。与LSS不同，在这篇文章中并没有显式使用深度信息或者是隐式编码深度空间分布，而是将scale上的不确定性编码使用上述提到的camera-view embedding、map-view embedding和transformer网络进行学习和适应

__如果
关注
  • 4
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
《Cross-view Transformers for real-time Map-view Semantic Segmentation》论文笔记
m_buddy的博客
07-01 2829
参考代码：cross_view_transformers这篇文章提出了基于transformer的bev特征提取网络（对于2D的bev），对于bev下的queries会通过加上map-view embedding进行refine得到最终queries。同样在多视图特征（由CNN网络得到）上也会添加camera-view的embedding进行refine得到key。同时为了感知道路的3D位置几何关系还对相机位置进行embedding（代码中为减去操作），并与上述的两种embedding进行关联。最后原多视图
Cross-view Transformers for real-time Map-view Semantic Segmentation
chaoqinyou的博客
02-19 637
Cross-view Transformers for real-time Map-view Semantic Segmentation
Cross-View Transformers for Real-Time Map-View Semantic Segmentation 论文阅读
KrMzyc的博客
11-19 496
提出了 Cross-View Transformers ，一种基于注意力的高效模型，用于来自多个摄像机的地图视图语义分割使用相机感知的跨视图注意机制隐式学习从单个相机视图到规范地图视图表示的映射该架构由每个视图的卷积图像编码器和跨视图变换层组成，以推断地图视图语义分割。
CVPR2022 |BEV感知(自动驾驶感知新范式)| Cross-view Transformers for real-time Map-view Semantic Segmentation
AI-cv-sharer
05-18 1970
Cross-view transformer BEV 内容导航文章信息内容摘要论文方法简介实验数据论文总结和展望 文章信息 文章链接: https://arxiv.org/abs/2205.02833 代码：https://github.com/bradyz/cross_view_transformers 内容摘要 不同于之前的 RepVGG 和 DBB 训练多分枝和测试单分枝（重参数聚合多分枝 conv op 为单分支 conv，有效减少测试时间），文章提出来一种全新的在线重参数方法，在训练过程中也
sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2
07-18
标题 "sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2" 提供的信息是关于一个自然语言处理（NLP）模型，该模型基于Sentence Transformers库，并且是多语言版本的。Sentence Transformers是一个Python...
大创SikuBERT-for-digital-humanities-and-classical
06-26
SikuBERT可能是一种经过定制或预训练的BERT（Bidirectional Encoder Representations from Transformers）模型，用于处理中文文本，特别是与数字人文和古典文化相关的文本数据。 首先，我们要理解BERT的基本概念。...
BERT-for-RRC-ABSA:NAACL 2019论文的代码
05-23
我们的NAACL 2019论文代码“”，COLING 2020论文“ ”和EMNLP 2020的发现（草稿）。 “”。 我们发现BERT域的后期培训（例如1天的培训）是提高BERT性能的一种经济方式，因为学习跨域共享的常识要困难得多（例如10天...
convolution-vision-transformers:CvT的PyTorch实现
04-01
size ()) for p in parameters ]) / 1_000_000 print ( 'Trainable Parameters: %.3fM' % parameters ) out = model ( img ) print ( "Shape of out :" , out . shape ) # [B, num_classes] 引
ckip-transformers:CKIP变形金刚
05-06
CKIP Transformers This project provides traditional Chinese transformers models (including ALBERT, BERT, GPT2) and NLP tools (including word segmentation, part-of-speech tagging, named entity ...
Conditional Flow Matching: Simulation-Free Dynamic Optimal Transport论文阅读笔记
weixin_46103454的博客
08-20 382
假设给定一个目标流pt和生成它的向量场ut .学习与pt相匹配的流的一种方法是通过对目标向量场的回归进行梯度下降。
【论文阅读】APMSA: Adversarial Perturbation Against Model Stealing Attacks（2023）
Glass_Gun的博客
08-20 1097
换句话说，对于威胁模型隐私的模型窃取攻击，利用API查询公共数据的可接受次数(即通常较小)，并从MUA获取返回的预测，以构建用于训练替代/被盗模型的“传输数据集”，从而危及MUA的隐私并破坏其业务价值。值得注意的是，除了私下使用被盗模型进行进一步的免费查询外，被盗模型还可以用来制作可转移的对抗示例来欺骗MUA[12]，[13]。攻击者通过私有模型提供的付费查询服务(即MLaaS提供的API)，对查询的输入x获得预测y，在某些情况下，返回的预测通常是概率向量(即x属于特定类别的置信度)或标签(top-1)。
【论文阅读】GLiRA: Black-Box Membership Inference Attack via Knowledge Distillation（2024）
Glass_Gun的博客
08-23 504
Membership inference attack，成员推理攻击。knowledge distillation，知识蒸馏。trustworthy AI，可信人工智能。
VIT论文阅读： A Image is Worth 16x16 Words
qq_19859865的博客
08-18 566
在2024年，大家都知道了transformer的故事，但是在4年前, CNN和Transformer谁才是CV的未来，还没有那么确定。在简介部分，作者提到了一个令人失望的事实，在基于imagenet的实验中发现，transformer的表现差于同尺寸的ResNet。作者把原因归结到bias translation equivariance and locality，这些CNN具有，但是transformer不具有的特性上。如下图【1】
Swin-Transformer论文阅读
qq_19859865的博客
08-20 899
在CNN对于图像分类，目标检测等问题的探索中，大家已经发现，母舰检测，语义分割这类任务，相比于图像分类对于网络backbone有着不一样的需求。而基于vit对于图像分类问题的探索，接下来，大家可以依葫芦画瓢，尝试解决更有挑战的问题了。关于目标检测，语义分割这类任务，通常需要网络具有分层提取不同颗粒度的特征，并且，网络的是输入可能是更高分辨率的图像，输出也是更精细的特征，比如语义分割的mask。
[论文笔记] eval-big-refactor lm_eval 每两个任务使用一个gpu，并保证端口未被使用
心宝的博客
08-23 221
【代码】[论文笔记] lm_eval 每两个任务使用一个gpu，并保证端口未被使用。
【论文阅读】Retargeting and Respecializing GPU Workloads for Performance Portability
m0_46496993的博客
08-20 1146
GPU 硬件的演变CUDA 编程模型和语法随时间相对稳定，但底层 GPU 硬件已经显著发展，增加了许多新特性和指令。性能可移植性问题即使 CUDA 编写的 GPU 内核能够在更新的 NVIDIA GPU 上运行，它们也可能因为kernel尺寸与目标架构不匹配而无法达到类似的利用率。编译器机制的提出作者提出了一种基于编译器的机制，通过自动调整每个 GPU 线程的工作量以及内存和寄存器资源的使用量，来“调整”GPU 程序以适应特定架构。MLIR 编译器基础设施。
【论文阅读】NGD-SLAM: Towards Real-Time SLAM for Dynamic Environments without GPU
最新发布
博客标题不能为空我也没办法
08-23 723
一篇语义辅助的视觉SLAM，设计的掩码预测方法能够让设备在不使用GPU的情况下完成语义分割的实时预测
论文阅读1 Scaling Synthetic Data Creation with 1,000,000,000 Personas
weixin_51147313的博客
08-20 1131
我们提出了一种新的人物角色驱动的数据合成方法，利用大型语言模型（LLM）中的各种观点来创建不同的合成数据。为大规模地充分利用这种方法，我们引入了Persona Hub —— 一个从网络数据中自动策划的10亿个不同人物角色的集合。Persona Hub 中的 10 亿个人物角色（占世界总人口的 13%）作为世界知识的分布式载体，可以利用LLM中封装的几乎每一个视角，从而促进为各种场景大规模创建多样化的合成数据。
Cross-view Transformers
10-12
Cross-view Transformers是一种用于多模态学习的神经网络模型，它可以同时处理来自不同视角的输入数据。这种模型可以应用于许多任务，例如视频分类、动作识别和人体姿态估计等。 Cross-view Transformers的核心思想...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值