青春力量，大模型：科研新风潮

点击蓝字

关注我们

AI TIME欢迎每一位AI爱好者的加入！

概述

青年学者正在迎来大模型时代的新浪潮，他们如何在这场AI革命中掀起新篇章？让我们一起探索！4月19日，2024的第一场顶会线下交流会开启了。5位顶会一作学者作为主发言嘉宾，与现场30位受邀观众一起分享并思辨科学研究、探讨大模型的边界。

以下内容基于活动实录精简呈现，与大家分享：

01

顶会投稿经验分享：

投稿时间安排？如何 Rebuttal？

“不要轻言放弃，尽管我最初的投稿接收率只有20%”。

尤其是在科研初期，论文中稿率可能会非常低，但在一次次地打磨后，经验也就随之而来。

万事开头难，好的idea是怎么想出来的？他们提到，实验室的团队成员们往往会共同讨论确定研究方向，以确保工作的多样性和深度。在投稿过程中，团队合作也至关重要，投稿的成功往往是一个团队的努力结果。其次，广泛地阅读论文也是收获灵感的重要途径，但更重要的是能够跳出论文作者所构建的故事，从中挖掘出自己的视角和发现新的问题。

如何Rebuttal，也是大家非常关心的话题。面对审稿人意见，要更多地站在审稿人的角度上思考。如果我们是审稿人，提出了这个问题，希望作者如何回答？同时在返修过程中，要保持自信，如果认同审稿人的意见，应提供充分的论据来验证这些观点，以提升论文的可信度和深度；如果不认同，礼貌地讨论也是一种好的回应方式。审稿人的评分如同高考作文打分，如果要跟平均分相去慎远，AC 也会关注这个意见是否真正客观，要保留更多的精力去关注论文工作本身。在投稿选择方面，优先选择高质量的会议投稿，例如AI的三大会。高质量会议的审稿质量一般也相对比较高，审稿人会对投稿文章有一个比较本质的理解，会提些一些有深度的问题，即使论文没有被录用，在解决审稿人提问的过程中，投稿论文的质量也会得到提升。

02

大模型时代下，应该如何更好地做科研？

巧借大模型的东风，发倔非常规的现象，深挖问题本质

大模型时代下，科研人员面临着信息爆炸和模型巨大化的挑战。不同的研究人员立场会影响他们对大模型的态度和方法。例如，学术研究者可能更关心模型精度对下游任务的影响，而工业界工程师可能更专注于如何优化大模型在特定问题上的性能。在选择研究路径时，要避免漫无目的盲目追风转变，同时也不应排斥新的技术。在大模型时代，研究者应扬长避短，在自己有优势的地方寻找新颖的研究点。这通常需要大量的实验并从中发现一些非常规的现象，然后逐渐深挖这些本质问题。这一过程需要创新思维和实践经验的累积。

03

Agent 在实际应用中的挑战

“智能体犹如一个分工明确的团队，每个成员在一个框架内团结组织起来，共同解决问题。”

智能体已经火热了一段时间，但在实际应用场景中还面临许多挑战。一位从机器人硬件行业转向AI强化学习领域的研究者，就此现状进行了深入探讨。他主要将研讨的焦点集中在智能体的“幻觉”问题。目前智能体面临的重大挑战之一便是如何控制由“幻觉”问题带来的影响。此外还探讨了智能体和其他类型的聊天机器人之间的明显差异。智能体在功能上之所以更为强大，因为除了提供语言、图像和音频输出外，它还可以输出决策信息，自动为用户做出选择，从而略过许多中间步骤。

04

我们离超级智能还有多远？

“超级智能并不一定要拥有与人类类似的情感或者理解能力，其核心定义更偏向于一种解决超级复杂问题的能力”。

在AI蓬勃发展的背景下，对于这个命题的看法既有积极乐观的期待，也有悲观的担忧。尽管当前大模型已取得显著的进展，然而当涉及理解隐喻等复杂认知任务时，现有的技术看起来依然力有未逮。实现超级智能，并不仅仅需要强大的计算能力和精密的监督机制，更要求我们能够深度挖掘和量化专家级别的知识，并创新学习新知和利用人类经验的方式。未来的超级智能有望在开放世界的游戏中得以训练和实现，通过更接近现实世界的模拟环境进行决策，超越现有模型仅限于聊天或生成文本等的能力。

一作学者们也分别介绍了他们的论文工作亮点：

清华大学的余天予

介绍了发表在CVPR 2024的RLHF-V: Towards Trustworthy MLLMs via Behavior Alignment from Fine-grained Correctional Human Feedback。

多模态大模型（MLLM）展现出了优秀的多模态信息理解和推理能力，却也与大语言模型一样饱受“幻觉”问题的困扰，即模型在回答中出现与图片信息不符的内容。为缓解多模态大模型的幻觉问题，他们提出了全新的多模态大模型对齐框架 RLHF-V，从数据和算法层面入手显著减少“幻觉”的出现。通过构造新颖的细粒度修改式反馈偏好，和设计相应的偏好学习算法。仅需 1.4k 人类反馈的细粒度数据单机 8 × A100 训练1 小时即可使模型幻觉率降低 34.8%，在抵抗“过泛化”问题上的表现甚至超过了 GPT-4V。

东南大学的周思帆

分享了他发表在ICLR 2024的LiDAR-PTQ：Post-Training Quantization for Point Cloud 3D Object Detection。

首先从点云的稀疏性角度，分享了面向点云检测器的后量化方法LiDAR-PTQ (ICLR2024)，该方法从点云的稀疏性和前后景分布不均衡的两个挑战出发，设计了基于稀疏性的校准方法以及全局正向任务导向loss函数，这些设计使得量化后的点云模型可以实现与浮点模型几乎一致的性能，同时在点云语义分割任务上仍然有效，这为基于点云感知算法的端侧部署提供了一种有效的解决方案。其次，对于基于稀疏卷积的点云检测器部署困难这一问题，周思帆分享了一种部署友好的全卷积点云检测器FastPillars，通过增强支柱的表达，并分析图像和点云的模态差异，设计了基于模态的算力重分配的骨干网络，进一步增强了点云检测的性能，同时可以轻易获得tensorrt带来的加速优势，实现更好的综合性能。

清华大学深圳研究生院的马国政

在报告中介绍了发表在ICLR 2024的Revisiting Plasticity in Visual Reinforcement Learning: Data, Modules and Training Stages，聚焦于视觉强化学习中的可塑性损失。

其中，可塑性指代神经网络持续从新的经验数据中学习的能力，是实现高性能和高样本利用效率的深度强化学习的关键。尽管先前提出的重初始化等方法能够在一定程度上缓解可塑性损失，但是对于视觉强化学习中可塑性损失的诸多关键细节仍缺少深入的理解。本报告从数据，模块，训练阶段三个关键角度深入剖析视觉强化学习中的可塑性损失，提供一系列有趣的见解。

中国人民大学的付廷琛

分享了发表在ICLR 2024上的工作“The Reasonableness Behind Unreasonable Translation Capability of Large Language Model”。

大规模语言模型为何能在没有使用平行语料的情况下表现出显著的翻译能力？

现有的大语言模型在训练过程之中并没有见到过平行语料，然而众多实验表明其翻译能力可以媲美甚至超过以Google Translate 为代表的经过大量平行语料训练的传统翻译模型，展现出了令人印象深刻的翻译能力。因此在这项研究中，我们以BLOOM模型系列为代表，全面研究了LLM超乎寻常的有效性以及其背后的潜在机理。我们的研究结果表明，在预训练语料中不可避免地存在一些偶然的双语对齐数据，尤其以单词粒度级别的双语对齐数据居多，对大语言模型获得翻译能力有显著贡献。

北京大学的汪海昕

介绍了发表在ICLR 2024的BENO: Boundary-Embedded Neural Operators for Elliptic PDEs。

BENO模型引入了一种新颖的神经算子架构，该架构嵌入复杂几何形状和非均质边界值，用于求解椭圆偏微分方程（PDEs)。BENO 模型在性能上超越了现有的最先进神经算子和基线模型。BENO模型能够推广到具有复杂几何形状域的多种边界条件，这对于提高社区的灵活性具有重要意义。

往期精彩文章推荐

记得关注我们呀！每天都有新知识！

 关于AI TIME 

AI TIME源起于2019年，旨在发扬科学思辨精神，邀请各界人士对人工智能理论、算法和场景应用的本质问题进行探索，加强思想碰撞，链接全球AI学者、行业专家和爱好者，希望以辩论的形式，探讨人工智能和人类未来之间的矛盾，探索人工智能领域的未来。

迄今为止，AI TIME已经邀请了600多位海内外讲者，举办了逾300场活动，超150万人次观看。

我知道你

在看

哦

~

点击 阅读原文 查看更多！