BAAIBeijing的博客

转载 智源千万级指令微调数据集Infinity-Instruct持续迭代，Llama3.1仅微调即可接近GPT-4...

指令微调是引导语言模型落地、构建高性能对话模型的关键一步。针对目前开源的指令数据集质量低、覆盖领域少、数据信息不透明等问题，智源研究院推出了千万级指令微调数据集Infinity Instruct。该数据集今年6月发布，近日完成了新一轮迭代，包括Infinity-Instruct-7M基础指令数据集和Infinity-Instruct-Gen对话指令数据集。Infinity-Instruct-7M包...

转载 活动报名｜一夜爆火的KAN比MLP更好？KAN与MLP性能比较

报告主题：公平对比KAN与MLP，KAN适合符号函数拟合，深度学习任务中MLP仍为通用首选报告日期：8月27日（周二）10:30-11:30报告要点：我们对 Kolmogorov-Arnold Networks（KAN）与 Multilayer Perceptron（MLP）在机器学习、计算机视觉、音频处理、自然语言处理和符号函数拟合任务上的性能进行了更公平和更全面的对比研究。实验过程，通过控制神...

原创 14万引用Sergey教授专访：好研究没有妙计，不好的研究却千篇一律丨独家

“做研究就像买彩票，如果中奖奖金本身就低，就不要买那个彩票。”学术狂魔、强化学习领军者，来自UC伯克利的Sergey Levine副教授在形容如何做好研究时，做出了这样一个生动的比喻。做科研是一个漫长的学术祛魅的过程。在他看来，大部分的研究都会失败。面对极低的成功率，需要研究者放平心态，承担风险。在过去的很多年间，Sergey一直保持着极高的论文发表速率。ICLR 2021 上他是论文接收第一人（...

转载 直播报名｜幻觉即泛化，知识掩盖导致大模型的组合幻觉，热门工作

报告主题：幻觉即泛化，知识掩盖导致大模型的组合幻觉报告日期：8月20日（周二）10:30-11:30报告要点：为什么大语言模型在全部正确的训练数据上仍会产生幻觉？本次讲座会详细地讨论大模型产生组合幻觉的本质原因，并会讨论我们如何利用这一发现预测尚未发生的幻觉现象，以及如何使用无需训练的测试时间方法消除大模型组合幻觉。本次讲座将深入讨论我们如何发现并验证了训练过程中无处不在的数据不平衡导致模型产生组...

原创 直播报名｜重新思考GNN，不卷积的图神经网络，实现高效计算，热门工作

报告主题：重新思考GNN，不卷积的图神经网络报告日期：8月21日（周三）10:30-11:30报告要点：重新思考卷积图神经网络（GNN）：它们表达能力有限，容易出现过度平滑和过度压缩，并且需要特殊的稀疏模块来实现高效运算。我们设计完全不依赖卷积运算符的图学习模块，称为随机游走统一记忆（RUM），其中RNN将终止于每个节点的拓扑特征和语义特征合并。基于丰富的RNN和图拓扑学研究，我们理论上证明并实验...

原创 周四直播｜ICML 2024，CMU&Meta 《语言模型物理学》系列，超越人类的二级推理，揭秘大语言模型推理机制...

报告主题：超越人类的二级推理，揭秘大语言模型推理机制报告日期：8月15日（周四）10:30-11:30报告要点：最新的语言模型在小学数学测试题集（如GSM8K）上表现出了近乎完美的准确率，这表明它们已具备解决数学推理问题的能力。为了研究语言模型是如何解决这些问题的，我们设计了一系列变量控制实验并探讨了以下问题：一、语言模型究竟是学会了真正的推理能力，还是仅仅依赖于答题模板的记忆？二、模型内在的推理...

原创 周三直播｜Stability AI，具有多帧和多视图一致性的动态3D内容生成，SV4D

报告主题：Stability AI｜时间和空间一致性动态3D内容生成，SV4D报告日期：8月14日（周三）10:30-11:30报告要点：在大语言模型不断给人们带来惊喜的同时，大语言模型的资源耗费和部署成为了其大规模应用的瓶颈。为了应对不断增加而导致的移动设备上对高效大型语言模型 (LLM) 日益增长的需求，我们设计参数少于十亿的 LLM，称为 MobileLLM，与之前的 125M/350M 最...

转载 本周活动｜使用强化学习技术微调扩散模型教程，普林斯顿大学，fine-tuning算法...

报告主题：使用强化学习技术微调扩散模型教程与综述报告日期：8月7日（周三）10:30-11:30报告要点：扩散模型具有出色的生成能力。然而，当被要求在复杂条件下满足特定的高精度目标时，它们往往无法完成。想象一下，培训员工不仅要执行任务，还要根据动态的市场需求创新提高生产力的方法。这类似于强化学习为生成模型带来的效果。通过结合强化学习算法（如近端策略优化PPO），我们现在可以指导扩散模型不仅生成样本...

转载 8月2日｜热门工作，智能体Agent工具使用及其高质量数据生成方法，APIGen，xLAM...

报告主题：AI智能体的工具使用及其高质量数据生成方法报告日期：8月2日（周五）10:30-11:30报告要点：本次讲座将深入探讨论文《APIGen: Automated Pipeline for Generating Verifiable and Diverse Function-Calling Datasets》中提出的进展和方法。APIGen旨在通过生成高质量、多样化的数据集来增强AI智能体模...

转载 直播｜Meta新工作，350M小模型压缩部署移动端（MobileLLM, SpinQuant）性能比肩7B LLaMA-v2...

报告主题：大语言模型的压缩部署 （MobileLLM, SpinQuant）报告日期：8月8日（周四）10:30-11:30报告要点：在大语言模型不断给人们带来惊喜的同时，大语言模型的资源耗费和部署成为了其大规模应用的瓶颈。为了应对不断增加而导致的移动设备上对高效大型语言模型 (LLM) 日益增长的需求，我们设计参数少于十亿的 LLM，称为 MobileLLM，与之前的 125M/350M 最先进...

转载 下周二直播｜谷歌DeepMind&UIUC：决策智能，基于强化学习的VLM后训练

报告主题：决策智能：基于强化学习的VLM后训练报告日期：7月30日（周二）10:30-11:30报告要点：如何让VLM解决in-the-wild decision making任务？本次讲座会详细地讨论这个问题，从环境和算法上给出解决方案，并会讨论如何用这些方案解决现实问题，例如自动完成设备控制任务（如自动在手机上购物）。本次讲座将细致讨论用VLM解决in-the-wild决策任务的根本挑战，例如...

转载 8月7日｜使用强化学习技术微调扩散模型教程，普林斯顿大学，fine-tuning算法

报告主题：使用强化学习技术微调扩散模型教程与综述报告日期：8月7日（周三）10:30-11:30报告要点：扩散模型具有出色的生成能力。然而，当被要求在复杂条件下满足特定的高精度目标时，它们往往无法完成。想象一下，培训员工不仅要执行任务，还要根据动态的市场需求创新提高生产力的方法。这类似于强化学习为生成模型带来的效果。通过结合强化学习算法（如近端策略优化PPO），我们现在可以指导扩散模型不仅生成样本...

转载 线下活动报名｜智源研究院数据与行业应用Workshop，7月25日

原创 多模态模型前沿思路-生成与理解丨青源Workshop第28期

青源Workshop丨No.28多模态模型前沿思路-生成与理解主题闭门研讨会当前，多模态生成与理解模型百花齐放，不同技术路线交相辉映，激发创新火花，北京时间7月23日（下周二）下午14点，智源社区将组织「青源Workshop：多模态模型前沿思路-生成与理解」小范围闭门研讨会，邀请到多位一线模型研究者参会分享。时间&地点时间：7月23日（下周二）下午14点（北京时间）地点：智源大厦（线上+...

转载 “智星”科技人才招聘计划

原创 直播｜何恺明组 & MIT 热门开源工作，打破自回归图像生成瓶颈

报告主题：无需矢量量化的自回归图像生成方法报告日期：7月25日（下周四）10:30-11:30报告要点：传统观点认为，自回归的图像生成模型（AR）通常需要在离散的语义符上进行操作。我们观察到，虽然离散空间可以方便地表示语义符的概率分布，但它并不是自回归建模的必要条件。在这篇工作中，我们提出使用扩散过程来模拟每个语义符的概率分布，这使我们能够在连续空间中应用自回归模型。我们没有使用传统的离散交叉熵损...

原创 活动报名｜模拟世界，LLM能否替代人类搭建仿真环境？定量分析LLM生成基于文本的仿真环境的能力...

报告主题：大语言模型能模拟世界吗？定量分析大语言模型生成基于文本的仿真环境的能力报告日期：7月19日（周五）10:30-11:30报告要点：当训练的AI模型需要在复杂环境中做出规划决策时，高精度的仿真环境可以大幅降低在真实场景中实验的需求，从而降低训练成本，提升训练效率。然而，构建此类仿真环境成本高昂，且需要大量人工投入。与此同时，当今的大语言模型（LLM）使用的庞大的预训练数据包含了各类关于现实...

原创 活动报名｜揭秘Bengio团队最新评测工作：视觉字幕恢复VCR，现有大模型能否过关？...

报告主题：揭秘Bengio团队最新评测工作：视觉字幕恢复VCR，现有大模型能否过关？报告日期：7月19日（周二）10:30-11:30报告要点：本次报告中我将介绍我与Bengio团队合作的最新工作——视觉字幕恢复（Visual Caption Restoration, VCR）。该任务通过恢复图像中被部分遮挡的文本，挑战现有视觉语言模型（Vision-Language Models, VLM）的高...

转载 生成式AI之父Jürgen Schmidhuber：机器学习编年史与宇宙未来丨智源独家

导读在 2024 年智源大会的特邀报告环节，阿卜杜拉国王科技大学 (KAUST) 人工智能研究所所长、瑞士人工智能实验室 IDSIA 科学主任、LSTM 作者、现代人工智能之父 Jürgen Schmidhuber 从编年史的角度讲述了现代人工智能的发展、其历史背景及其对宇宙未来的预期影响。1990-91年被誉为AI发展的“奇迹之年”，正是在此期间，Jürgen 引入了生成对抗神经网络（现已广泛用...

转载 7月11日直播｜简单而强大，混合神经网络架构，支持无限上下文的混合模型 Samba...

报告主题：Samba，一种简单有效的支持无限上下文的混合模型报告日期：7月11日（周四）10:30-11:30报告要点：Samba是一种简单而强大的混合神经网络架构，旨在对无限的上下文长度实现高效的语言建模。Samba 在常识推理、语言理解、数学和编程等广泛的基准测试中显著优于当前最先进的纯注意力机制和状态空间模型（SSM）模型。此外，Samba 在处理长上下文方面表现出卓越的效率，与最先进的 T...

转载 7月9日直播｜加速比5倍，提升推理速度，无损大语言模型加速算法的创新与应用，EAGLE & EAGLE-2...

报告主题：EAGLE&EAGLE-2: 无损大模型推理加速算法报告日期：7月9日（周二）14:30-15:30报告要点：本报告将介绍无损大语言模型加速算法EAGLE及其后续工作EAGLE-2（《EAGLE: Speculative Sampling Requires Rethinking Feature Uncertainty》和《EAGLE-2: Faster Inference of ...

转载 7月12日直播｜大模型评测技术研讨会

转载 7月10日直播｜算法简单，矫正流，基于直线概率流的超快速Stable Diffusion

报告主题：基于直线概率流的超快速Stable Diffusion报告日期：7月10日（周三）10:00-11:00在这次演讲中，我将讨论矫正流 (Rectified Flow) 。这个算法出奇的简单,它解决了使用非配对数据点学习两个分布之间传输映射的问题。这种问题包括生成式模型和无监督数据迁移。矫正流符合一个常微分方程(ODE),它被训练尽可能沿着直线路径前进,仅使用监督学习和L2目标函数。矫正流...

原创 独家丨专访宇树创始人王兴兴：偏科不可怕，只要把擅长的事做到极致

如果用一句话总结王兴兴的创业故事，也许是“早思考早行动”。2009、2010年左右，机器人赛道尚鲜少有人问津，公众对机器人的认知尚来源于科幻电影，而那时的王兴兴已经开始了积极的动手制作和科研立项，开启了被机器人“硬控”的十余年。“我大一时候就开始动手制作了，也在思考未来要做什么方向。”经过琢磨，他自研出了当时“最廉价”舵机做的双足机器人，得出结论，对传统舵机的被控性能感到绝望，完全不适合用于机器人...

转载 英国《金融时报》专访张宏江：AI系统永远不应该欺骗人类

2024北京智源大会前夕，英国《金融时报》记者Ryan McMorrow与Nian Liu对智源学术顾问委员会主任张宏江进行了专访。采访内容刊登于6月27日的时报。为方便阅读，我们对内容进行了编译（英文版全文请点击“阅读原文”）。‍张宏江是计算机科学家和企业家，他也是中国最直言不讳地主张安全开发人工智能技术的重要人士之一。在丹麦获得博士学位后，他在新加坡和加利福尼亚州帕洛阿尔托工作了几年。21世...

转载 视觉重回第一赛道？颜水成领衔视觉大模型论坛丨2024智源大会回顾

算法在哪个领域起源再向其它领域迁移，在过去十年间发生了巨变。计算机视觉在研究的领域曾经一直是研究最前沿，最新的算法从视觉领域产生，然后再转移到语音、NLP和其他的领域。自从Transformer诞生之后，风水轮流转，变成everything comes from NLP，新算法再慢慢转移到视觉。但是今年的状况有变化，自从年初Sora出现之后，计算机视觉似乎又要重回第一赛道。因此本次视觉大模型会场主...

转载 人类有爱、悲伤和死亡意识，AI无法对齐丨记智源大会意识与通用人工智能论坛...

意识，目前来说一个人类独有的词汇。围绕人工智能与意识产生过许多讨论和争议，前又深度学习三巨头之一Hinton认为“AI有意识，且可复制人类心智。”后有杨立昆、吴恩达认为AI缺乏对世界的基本认识，甚至还不如家猫认知水平。面向这些争议，6月14日在北京智源大会的意识与通用人工智能中，来自清华大学、北京大学的学者教授从“本源”出发，讨论了意识和AGI的关系。（回放：https://event.baai....

转载 活动报名｜如何减轻幻觉？揭秘LLM局限性，探讨实现效果及对安全性影响

报告主题：幻觉无法避免，探讨LLM的根本局限报告日期：6月26日（周三）14:30-15:30报告要点：幻觉是大语言模型（LLM）一个公认的重要缺陷。已有许多研究试图解释并减轻幻觉。但到目前为止，这些工作主要是经验性的，它们无法回答一个基本问题，即是否可以从LLM中完全消除幻觉。在本研究中，我们将幻觉问题形式化，并证明在LLMs中消除幻觉是不可能的。具体而言，我们定义一个形式化的世界，并定义幻觉为...

原创 姚期智、张亚勤、薛澜、Stuart Russell、Max Tegmark，DeepMind研究员等共话全球AI治理丨大会回顾...

为什么AI安全已迫在眉睫？如何构建全球范围内的合作？民众该如何参与到其中？未来的AI系统将是什么样的？2024年6月15日，智源大会第二天，多位AI安全领域专家进行圆桌讨论，连接中国北京和美国加利福尼亚，共同探讨如何构建可控AI，建立全球范围内合作。这次AI安全论坛由北京智源人工智能研究院与加州的非营利组织AI安全国际论坛（Safe AI Forum）和FAR AI共同举办。AI安全国际论坛致力于...

转载 大模型“四小龙”激辩AGI的未来：价格战可以打，但不能亏本｜2024智源大会精彩回顾...

在会议现场，穿着黑色T恤的杨植麟被层层围住。作者丨叶蓁 编辑丨王伟凯出品丨深网·腾讯新闻小满工作室AGI大模型，依然是2024年最炙手可热的风口。自2016年开启人工智能元年，AI产业已经历好几轮洗牌，借着ChatGPT的东风，通用人工智能大模型创业再次被置于聚光灯下。在第六届“北京智源大会”上，百川智能CEO王小川、智谱AI CEO张鹏、月之暗面CEO杨植麟、面壁智能CEO李大海和智源研究院院...

转载 生成模型最新进展丨2024智源大会精彩回顾

过去一年，生成模型发展迅速，尤其是视频的生成模型，在图像和语言的建模框架上都出现了许多新的变化。生成式建模是人工智能的基础范式之一，是迈向通用人工智能的重要一环。随着生成式建模方法的快速发展和模型规模的急速增长，以自回归模型、扩散概率模型为代表的生成式人工智能（如GPT系列、Sora、Stable Diffusion等）在文本、图像、视频、跨模态等重要领域取得了一系列突破性进展。本次智源大会「生成...

转载 Agent is all you need，智能体最前沿丨2024智源大会精彩回顾

Agent一词在英文中意为“做事的主体”，在AI研究中，Agent被赋予了模仿人类主观能动性的能力，能够主动进行计划、组织、实施和学习，直至完成任务。OpenAI联合创始人Andrej Karpathy在去年的公开活动中表示，OpenAI内部对AI Agents研究最感兴趣。Agent究竟有何魅力？多智能体走向群体智能还有哪些问题和挑战？LLM和Agent如何结合，引领未来智能系统乃至AGI的新方...

转载 智源独家丨谢赛宁：AI是否需要更强的视觉基础来实现理解和意义?

6 月 15 日，万众瞩目的智源大会「多模态大模型」论坛轰动举行。纽约大学助理教授谢赛宁从哲学的角度出发，针对大语言时代的视觉表征研究娓娓道来。从探索多模态大型语言模型的视觉缺陷、基于视觉搜索引导的多模态大模型、真实世界中的虚拟智能落地等方面介绍了团队的最新工作。通过这些工作，读者们可以窥见MLLM 的未来风向。人工智能是否需要感知基础来实现理解？实际上，早在 1990 年，Stevan Harn...

转载 百川、ChatGLM、MiniCPM、Llama作者等共论LLM关键问题 | 2024智源大会精彩回顾

大语言模型走到哪了？最近一年，不断迭代背后的关键因素有哪些？未来尚有哪些挑战和机遇？在6月14日，北京智源大会大语言模型论坛中，Llama3、百川大模型、ChatGLM、MiniCPM等国内外知名模型的作者们共同回答了关于大语言模型的一些关键问题，并给出了最新的论断：北京大学助理教授贺笛：高效Transformer在解决复杂推理问题时表现不如标准Transformer。ChatGLM作者东昱晓：大...

转载 AI 对科学探索推动的边界在哪？蛋白质、气象等领域专家共话AI4S | 2024智源大会精彩回顾...

一直以来，AI for Science 旨在推动科学发现的边界，加速创新过程，并解决复杂问题。在科学实践过程中，我们发现AI不仅能够提高科学研究的效率，还能够开辟全新的研究路径，探索以前不可能观察到的模式和联系。这一点在生物信息学、物理学、化学和天文学等学科中均有体现。AI技术是否能够帮助解决Science中大家真正关心的问题，是智源大会「AI for Science」论坛的核心话题。本次论坛由清...

转载 王兴兴、王鹤、卢宗青、邵林、高阳等专家共论具身前沿 | 2024智源大会精彩回顾...

在2024智源大会具身智能论坛门口站满了围观听众，一时间水泄不通。说起2024智源大会最火爆的论坛，具身智能论坛一定榜上有名。从Figure01和人类交流自如、特斯拉Optimus叠衬衫，以及宇树G1惊艳发布，再到公众对人形机器人的争相追逐可以看出，具身智能是2024年最炙手可热的科技概念。当前，具身智能在学术层面已经实现了哪些跃迁？距离具身智能走进千家万户，还需要实现哪些方面的突破？理想与现实之...

转载 百度王海峰：规模定律未来几年仍有效

6月14日，2024北京智源大会在京举行。百度首席技术官王海峰受邀出席并作主旨演讲，对人工智能技术发展作出最新判断。王海峰认为，大模型为通用人工智能带来曙光，可以从两个角度解读，一是人工智能技术的通用性，二是能力的全面性。从人工智能技术发展趋势来看，未来几年，规模定律依然有效，大语言模型仍有很大提升空间，多模态大模型会越来越好用，智能体技术逐渐成熟加速应用爆发等。通用人工智能新视角：技术通用、能力...

转载 Llama 2、3作者中国首讲！LLM 前世今生，AGI 是我们这代人的哥白尼革命丨2024智源大会回顾...

或许，AGI正是我们这代人的「哥白尼革命」。就像当初人类发现地球其实没什么特别的，只是一个位于普通星系之中，围绕普通恒星旋转的普通行星。AI也没有什么疯狂的，只是一堆矩阵运算罢了。这是Meta研究科学家，Llama 2、3系列工作作者Thomas Scialom博士在2024智源大会上的报告结语，他这番颇具文学色彩的表达引发了在场听众的无限遐思。文艺青年Thomas博士甚至还用Llama做了一首...

转载 GPT-4o、SAM、DiT、DCN、SegGPT 作者共话多模态模型前沿进展 | 2024智源大会精彩回顾...

「多模态领域应该选哪些技术路线？视觉领域遵循scaling law么？如何看待“Encoder不可能三角”？未来训练多模态大模型的数据形式应该是怎样的？」2024 年 6 月 15日，智源大会第二天，GPT-4o、SAM、DiT、SegGPT、DCN 等重磅工作的作者共聚「多模态大模型」论坛，将本届智源大会的热度推向了高潮。嘉宾们介绍了多模态大模型领域最新的研究进展，分享了他们的经典名作和最新工...

转载 Sora 团队负责人 Aditya Ramesh 对话谢赛宁丨压缩一切！视觉与语言模态的融合

2024 年 6 月 14 日，一年一度的智源大会又迎来重磅嘉宾。当红视频生成大模型「Sora」团队的负责人 Aditya Ramesh 在2024智源大会开幕式上发表了题为「Language as the Scaffolding for Visual Intelligence」的主旨演讲。他介绍了生成式建模领域近年来的发展历程以及未来的前进方向，分享了 OpenAI 从研发 DALL·E、iGP...