LION论文阅读

CVplayer111

已于 2024-07-29 17:46:22 修改

阅读量467

点赞数 5

文章标签：人工智能

于 2024-07-29 17:04:13 首次发布

本文链接：https://blog.csdn.net/slamer111/article/details/140775679

版权

一、论文主要出发点

3D目标检测的性能受限于3D卷积的局部感受野。

Transformer在3D检测领域效果很好，但由于算力限制，已有的工作在pillar内，或将voxel分组在组内进行特征交互，阻碍了他们捕捉更远程的依赖关系。

线性RNN算子的计算量随着输入序列长度线性增加，这比transformer好很多，其某些算子如Mamba和RWKV在大模型方面甚至和transformer打平。这对于将来3D检测领域统一的多模态大模型有很大的启发意义。

二、论文的主要创新点

1.在基于窗口的框架中对分组特征进行线性RNN操作，简称LION。

2.主要创新点在于3D骨干网络的设计

三、具体内容

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

CVplayer111

关注关注

5
点赞
踩
6

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
打赏
打赏
打赏举报

举报

涨点神器！超越Adam！谷歌提出Lion炼丹优化器，内存更小、效率更高！

阿木寺的博客

02-21

4958

点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达点击进入—>【计算机视觉】微信技术交流群转载自：机器之心 |编辑：杜伟、陈萍谷歌的 Lion 优化器将成为训练大模型或大批量的「福音」。优化器即优化算法，在神经网络训练中起着关键作用。近年来，研究者引入了大量的手工优化器，其中大部分是自适应优化器。Adam 以及 Adafactor 优化器仍然占据训练神经网络的主流，尤其在...

论文阅读： SigLit | SigLip |Sigmoid Loss for Language Image Pre-Training

a486259的博客

09-17

2611

论文地址：https://arxiv.org/pdf/2303.15343项目地址：https://github.com/google-research/big_vision发表时间：2023年3月27日我们提出了一种用于语言图像预训练（SigLIP）的简单成对 Sigmoid 损失。与使用 softmax 归一化的标准对比学习不同，sigmoid 损失仅对图像-文本对进行操作，并且不需要对归一化的成对相似性进行全局视图。

参与评论您还未登录，请先登录后发表或查看评论

Hiding Visual Information via Obfuscating Adversarial Perturbations阅读

m0_58465853的博客

03-23

626

我们受到Type-I对抗性攻击的启发，提出了一种对抗性的视觉信息隐藏（AVIH）方法来保护数据的视觉隐私。此外，该方法不需要修改模型参数，可以灵活地应用于不同的场景。在识别和分类任务上的实验结果表明，该方法能够有效地隐藏视觉信息，且对模型性能影响较小。

2024 NIPS Poster Learning-Feedback

m0_73202283的博客

01-14

702

解决的主要问题是3D对象检测中的点云处理难题：直接从点云中进行3D对象检测是一项挑战，因为点云数据通常是不规则的、稀疏的，并且没有固定的顺序。：基于Transformer的架构虽然在3D对象检测中取得了成功，但是其注意力机制的二次复杂度难以在点云分辨率增加时编码丰富的信息。：尽管状态空间模型（如Mamba）因其线性复杂度和长序列建模能力而在自然语言处理中表现出色，但它们在3D场景理解中的应用尚未被充分探索。：首先对输入点云进行最远点采样（FPS）和K近邻（KNN）采样，形成多个局部块。

线性RNN+3D检测！LION: Linear Group RNN for 3D Object Detection in Point Clouds（论文笔记）

m0_73819016的博客

09-06

1168

Transformer在3D点云检测中的优势受到建模远程关系时的二次计算成本的限制。相比之下，线性RNN的计算复杂度较低，适合长程建模。我们提出了一个简单而有效的基于窗口的框架，构建在LInear grOup RNN以实现3D 检测，称为LION。关键属性是允许在比基于转换器的方法大得多的组中进行足够的特征交互。然而，由于线性群RNN在处理空间建模方面的局限性，有效地将线性群RNN应用于高度稀疏点云中的3D对象检测并非易事。为了解决这个问题，我们简单地。

RTDETR更换优化器——Lion

锁我喉是吧

06-27

803

参数分布均衡：Lion优化器通过分析模型参数的梯度分布情况，对梯度进行动态调整，以实现参数分布的均衡。这有助于避免某些参数过于稀疏或过于密集的问题，提高模型的泛化能力。自适应学习率：Lion优化器能够自动调整学习率，根据每个参数的梯度情况来自适应地更新学习率。动量加速：Lion优化器引入了动量概念，通过积累历史梯度的一部分来加速梯度更新。是一种基于梯度的优化算法，旨在提高梯度下降法在深度学习中的优化效果。将上述代码复制粘贴在ultralytics/engine下创建lion_pytorch.py文件。

YOLOV8替换Lion优化器

m0_46256255的博客

08-03

694

论文地址：https://arxiv.org/abs/2302.06675代码地址：https://github.com/google/automl/blob/master/lion/lion_pytorch.py。

PowerPulse ：Power Energy Chat Model 论文分享（论文标题有所简写）

weixin_45683054的博客

12-05

1733

最近，诸如Chat Generative Pre-trained Transformer（ChatGPT）和Generative Pre-trained Transformer 4（GPT-4）之类的大规模语言模（LLMs）在一般领域表现出了卓越的性能。然而，在特定领域中的不适应性导致了这些LLMs在特定领域背景下的产生幻觉。这个问题引起了广泛关注，现有的以领域为中心的微调工作主要集中在医疗、金融和法律等领域，对于电力能源等关键领域相对未被深入研究。

我的DeepSeek LLM论文学习笔记：欢迎一起探讨！

Lion_Long的博客

04-08

976

DeepSeek LLM 的核心目标是通过系统性研究语言模型的扩展规律（Scaling Law），解决开源大模型在规模化训练中的核心矛盾：高成本、闭源。简单来说，就是研究怎么让大模型变得更大更强，而且是可持续的、能让开源社区也一起玩得转的方案。论文提出了一套基于长期主义（Longtermism）的技术框架，旨在为开源社区提供可复用的扩展方法论，并推动大语言模型在代码生成、数学推理等复杂任务中的应用。论文研究了语言模型的缩放行为，并应用于两种广泛使用的大规模模型配置，即7B和67B。

使用 Crow Lion 神经网络进行多核概率聚类，用于缺失数据的插补和分类-研究论文

06-10

在模式分类中，主要问题之一是数据缺失或数据不完整，这是由不同原因造成的。缺失数据量因应用程序而异。... 通过将多核概率聚类算法 (MKPCA) 与 Feed Crow Lion 神经网络 (CLNN) 相结合，提出了缺失数据插补和分类。

The Ant Lion Optimizer.pdf

05-01

This paper proposes a novel nature-inspired algorithm called Ant Lion Optimizer (ALO). The ALO algorithm mimics the hunting mechanism of antlions in nature. Five main steps of hunting prey such as the...

Ant Lion Optimizer 工具箱：Ant Lion Optimizer (ALO) 算法的工具箱-matlab开发

05-29

这是一个简单的工具箱，具有友好的图形界面，非常适合那些没有很高编程技能的人。 ALO 算法的参数可以在工具箱中轻松定义。目标函数的默认名称是 CostFunction。... Seyedali Mirjalili，The Ant Lion Optimizer，

自然语言处理实战：用CRF打造高精度命名实体识别系统

最新发布

Loving_enjoy的博客

05-03

685

无论是想快速搭建一个可用的NER系统，还是希望深入理解概率图模型的精髓，CRF都是值得放入工具箱的利器。'prev_is_b-geo': prev_tag == 'B-GEO' # 假设prev_tag是前一个标签。('参观天安门', ['O', 'B-POI', 'I-POI', 'I-POI'])" —— 人工智能先驱吴恩达。- **BiLSTM-CRF**：经典组合，在CoNLL-2003达到91%的F1值。('北京市', ['B-GEO', 'I-GEO', 'I-GEO']),

远光软件发布九天 AI 应用开发平台，加速企业研发效能跃升

YG_JT的博客

04-30

649

4月25日，远光软件在“2025珠海软件产业年会暨AI技术赋能行业发展交流会”上以虚拟直播方式发布了远光九天AI应用开发平台。

存算一体架构下的新型AI加速范式：从Samsung HBM-PIM看近内存计算趋势

高效做AI，就上Aladdin! 同学们用得起的H卡算力平台。

05-01

1298

存算一体不是简单的技术改良，而是对计算本质的重新思考。当HBM-PIM将能效边界推向10 TFLOPS/W，我们正站在架构革命的临界点。这场变革的终极目标，是让计算回归数据本源——‌在比特诞生的地方处理比特‌。本文实验数据基于Samsung Aquabolt-XL HBM-PIM实测，更多技术细节请参考ISSCC 2023论文《A 1ynm 16Gb 4.8TFLOPS/W HBM-PIM with Bank-Level Programmable AI Engines》。

操作系统级竞争开启：AI Agent 能否成为人形机器人爆发的奇点？

望获实时Linux系统

04-30

1184

本文深入探讨了在人形机器人产业从“机械执行”向“自主决策”跃迁的背景下，实时操作系统（RTOS）与AI Agent融合对突破物理世界响应极限的关键作用，重点分析了望获实时Linux等国产RTOS的技术优势及其在不同领域的应用前景，同时客观阐述了产业面临的挑战与机遇，旨在为相关领域的学术研究和产业发展提供参考与借鉴。

生产级RAG系统一些经验总结

yanqianglifei的专栏

05-01

772

可能需要修剪或总结它们。一种常见方法是先检索，然后运行较小的语言模型或启发式算法，将每个检索到的文档总结为一段话，然后将这些摘要输入最终的语言模型。这有时被称为上下文压缩或自适应上下文。LlamaIndex等工具可以自动执行第二阶段，使用语言模型在最终答案之前将初始检索集压缩成更短的形式。仅在绝对需要时使用此方法，因为任何摘要都是额外的生成步骤，可能会引入自己的错误。随着2025年16k+标记模型的出现，如果适合，许多RAG系统尝试只提供原始文本，因为这保留了最大的细节。

LabVIEW圆锥滚子视觉检测系统

bjcyck的博客

04-24

915

软件方面，采用LabVIEW和Vision Development Module进行图像处理和分析，软件架构设计以模块化为原则，便于后续的维护和升级。通过高效的硬件选型和优化的软件算法，系统能够快速准确地完成图像的采集、处理和分析。本视觉检测系统不仅提高了生产效率，还通过自动化检测显著提升了产品的一致性和质量。未来，该系统还可以根据具体的生产需求进行调整和优化，以适应更多的生产环境。通过集成高分辨率摄像头和先进的图像处理算法，系统能够自动识别和分类产品缺陷，从而减少人工检查需求，提高检测的准确性和速度。

自主避障系统设计与研究硕士论文亮点解析

本篇硕士论文的研究与设计，很可能是聚焦于上述技术之一或多个技术的综合应用，提出了创新性的算法或改进方法，提升了避障系统的性能和可靠性。研究的深度和广度，以及提出的解决方案的实用性和创新性，是评价论文...