- 博客(4959)
- 收藏
- 关注
RSS订阅原创 哈工深、NUS等联合提出全新信息抽取基准任务：细粒度定位的统一多模态信息抽取...
信息抽取是 NLP 领域长久以来最经典的研究方向之一。信息抽取的研究经历过了多模态抽取阶段，以及大一统的抽取阶段。在大语言模型和多模态时代，信息抽取的发展何去何从，目前社区仍在积极探索中。近期，由哈工深和新加坡国立大学等团队联合提出一项全新的信息抽取基准任务：细粒度定位的统一多模态信息抽取 grounded MUIE，将三种信息抽取子任务（命名实体识别、关系抽取和事件抽取）在四种典型的模态（文本、...
2024-08-22 23:56:09
731
原创 为什么多模态基础智能体是下一个必争之地？清华发布全新评测基准VisualAgentBench...
©PaperWeekly 原创 ·作者 | 刘潇单位 |清华大学研究方向 |基础模型，基础智能体背景：从“基础模型”到“基础智能体”基础模型，特别是大规模预训练语言模型，展现出超出人们预期的通用能力，可以通过提示（Prompting）和微调（Finetuning）实现在特定语言任务上的良好表现。更令人兴奋的是，通过允许基础模型与真实世界、环境甚至其他模型产生交互，我们发现了这类大模型涌现出作...
2024-08-22 23:56:09
369
转载 深圳内推 | 腾讯光子工作室群招聘语音/文本多模态大模型方向算法实习生
合适的工作难找？最新的招聘信息也不知道？AI 求职为大家精选人工智能领域最新鲜的招聘信息，助你先人一步投递，快人一步入职！腾讯团队来自腾讯-光子工作室群，旗下旗舰游戏包括《和平精英》《PUBG Moblie》和《LOL Mobile》等，覆盖全球10余个国家和地区。团队聚焦多模态大语言模型在游戏领域的应用研究和前沿探索，可提供大量显卡资源和专业技术指导。语音/文本多模态大模型方向实习生坐标：深圳岗...
2024-08-22 23:56:09
82
转载 又一篇Nature！LSTM和Transformer巧妙结合，精度高达95.65%
今年LSTM火了！LSTM原作者分别提出xLSTM和Vision-LSTM，解决了以往的局限性。同时，LSTM+Transformer登上Nature；LSTM+CNN、LSTM+Attention等多种混合模型架构纷纷刷新SOTA。LSTM绝对是最近非常好出idea水论文的一个方向。我也整理了最近几年52个LSTM创新思路，全部有对应代码可以复现。已经按照核心原理整理命名，方便查找。今天无偿分享...
2024-08-21 13:20:49
66
转载 ICML 2024 | 腾讯提出全新多嵌入范式：维度坍塌视角下的大规模推荐系统
©作者 |腾讯广告技术在推荐系统中，模型的参数量被特征嵌入 (Embedding) 表征主导。所以，要将整个推荐模型做大，需要增加特征嵌入表征的参数量。我们发现，业界主流的显式特征交叉结构会使特征嵌入表征产生维度坍塌，导致无法通过简单地拉长嵌入表征来提升模型效果。针对该挑战，我们提出了一种多嵌入 (Multi-Embedding) 范式，为每个特征学习多个嵌入表征，并且基于每套嵌入表征学习独立的...
2024-08-21 13:20:49
146
转载 北京内推 | DeepSeek AI招聘多模态理解与生成统一模型方向算法实习生
合适的工作难找？最新的招聘信息也不知道？AI 求职为大家精选人工智能领域最新鲜的招聘信息，助你先人一步投递，快人一步入职！DeepSeekDeepSeek是一家探索通用人工智能（AGI）本质的公司，以开源汇聚更多的创造力和生产力，并致力于将研究、工程和商业三者融为一体。我们相信，AGI 是数据x算法x算力的完美实践，科研+工程+组织的优雅艺术。如果你对人工智能有浓厚的兴趣，如果你想在一个充满挑战和...
2024-08-21 13:20:49
366
转载 报名最后1天！MindSpore SPONGE暑期学校启幕，共探AI4Science前沿
MindSpore SPONGE暑期学校课程即将开启速来解锁AI+科学计算新技能MindSpore SPONGE暑期学校第四季，将于本周五8月23日正式开启。本次课程以AI+分子动力学为主题，联合12位国内知名专家全程手把手授课。我们希望更多的开发者一起加入社区，共同开发、共同探索开源科学的未来。大咖讲师详解理论知识此次暑期学校，我们邀请到了北京大学高毅勤教授、北京大学化学与分子工程学院副研究员杨...
2024-08-21 13:20:49
56
转载 不用CoT和微调！微软提出自博弈相互推理，小模型互相验证直接比肩大模型
©作者 |Panda来源 |机器之心众所周知，LLM 很强大，但执行复杂推理的能力还不够强。举个例子，在 GSM8K 数据集上，Mistral-7B 即使使用思维链（CoT）等技术，也只能达到 36.5% 的准确度。尽管微调确实也能有效地提升推理能力，但大多数 LLM 依靠的微调数据都是经过 GPT-4 等更强大模型蒸馏过的，甚至可能原本就是这些强大模型合成的。同时，研究者们也在积极开发一种能...
2024-08-20 18:48:40
80
转载 GituHub揽星超2万！飞桨3.0进阶版来了：动静统一自动并行、大模型训推一体
深度学习框架作为基础软件，不仅促进了深度学习技术的飞速进步，更为人工智能技术的广泛应用铺设了坚实的基础。深度学习框架为开发者提供了便捷易用的开发接口，这些接口对数据和操作进行了高度抽象，使得开发者能够更专注于算法和模型的设计，而不必深陷底层数据的处理细节。通过这些接口，开发者无需直接感知和应对复杂的硬件底层开发细节，从而极大地提升了开发效率和体验。其次深度学习框架还提供了自动微分这一强大功能，开发...
2024-08-20 18:48:40
279
转载 Cell Press有奖注册！北大、复旦教授在线分享：蛋白质结构与功能预测及设计
交叉学科Interdisciplinary8月22日（周四）晚19:00, Cell Press细胞出版社旗下数据科学期刊Patterns将联合Trends in Biotechnology（现已开始接收研究类文章）为大家带来本年度第四场Cell Press Live线上讲座，主题为《蛋白质结构与功能预测及设计》。本次会议邀请到来自西湖大学的李子青、深圳湾实验室的周耀旗，复旦大学的朱山风、北京大学...
2024-08-20 18:48:40
49
转载 博士申请 | 北卡罗来纳大学教堂山分校丁明宇老师招收具身智能全奖博士/硕士/实习生...
合适的工作难找？最新的招聘信息也不知道？AI 求职为大家精选人工智能领域最新鲜的招聘信息，助你先人一步投递，快人一步入职！北卡罗来纳大学教堂山分校北卡罗来纳大学教堂山分校综合排名全美第22位（US News），公立大学top4，被誉为“公立常春藤”。世界排名47 (US News)，35 (ARWU)。计算机系全美排名27。其余相关方向：统计系全美排名11，生物统计系全美排名第5，应用数学全美排名...
2024-08-20 18:48:40
88
转载 北京内推 | 微软搜索广告算法团队招聘LLM方向广告算法实习生
合适的工作难找？最新的招聘信息也不知道？AI 求职为大家精选人工智能领域最新鲜的招聘信息，助你先人一步投递，快人一步入职！微软亚洲互联网工程院微软搜索广告算法团队隶属微软亚洲互联网工程院，我们与来自全球的工程师团队一起搭建涵盖用户、广告主和搜索引擎在内的业界领先的广告生态系统。微软广告产品遍布美国、加拿大 、英国、法国、德国、中国、日本、新西兰等全球200多个国家和地区。作为微软搜索广告团队的一员...
2024-08-19 13:33:38
170
转载 ECCV 2024 | 满分Oral论文！整数训练脉冲推理的高性能低能耗目标检测网络
©PaperWeekly 原创 ·作者 |竹贤单位 |中科院自动化所李国齐课题组研究方向 |脉冲神经网络脉冲神经网络（Spike Neural Networks，SNN）因其生物合理性和低功耗特性，被认为是人工神经网络（Artificial Neural Networks，ANN）的一种有效替代方案。然而，大多数 SNN 网络都由于其性能限制，只能应用于图像分类等简单任务。为弥补 ANN ...
2024-08-19 13:33:38
107
原创 南大发布最新综述！全面解析如何使用预训练模型进行持续学习
©PaperWeekly 原创 ·作者 |孙海龙单位 |南京大学LAMDA实验室研究方向 |预训练模型、MLLM论文标题：Continual Learning with Pre-Trained Models: A Survey论文地址：https://arxiv.org/abs/2401.16386代码链接：https://github.com/sun-hailong/LAMDA-PILO...
2024-08-19 13:33:38
572
转载 超越DPO！大模型精细化对齐之Step-DPO
©PaperWeekly 原创 ·作者 | 皓天单位 | 小红书研究方向 | AI安全、推理&规划近期，GSM8K、MATH 被各种 7B 小模型刷的飞起，其中，step-level-dpo 成为刷分利器。这里，instance-level-dpo 指 preference-dataset使用 完整的chosen-tracjectory 和 rejected-tracjectory。而 ...
2024-08-18 20:03:47
148
转载 文末送书 | 豆瓣均分8.7！值得收藏的大模型宝藏书单来了
在这个大模型风起云涌的时代，技术的边界被不断拓宽，AI的力量正以前所未有的方式重塑我们的世界。如果你渴望站在技术的浪尖，深入了解增强现实（AR）、机器学习（ML）与强化学习（RL）的奥秘，那么这份精心挑选的书单将是你不可多得的导航指南，为你提供从理论到实践的全方位指导。01《认识AI》《认识AI：人工智能如何赋能商业》（原书第2版）作者：[美]道格·罗斯(Doug Rose)译者：刘强推荐理由：抢...
2024-08-18 20:03:47
157
2
转载 ICML 2024 | 最高提速1440倍！中科院自动化所15秒用GCN搞定随机规划
©作者|吴洋、张一帆单位|中科院自动化所来源 |量子位 QbitAI仅需 15 秒即可搞定随机规划问题，速度比传统方法快了 1440 倍！中科院自动化研究所的新研究，利用 GCN 在此类问题上取得了新突破，论文已入选 AI 顶会 ICML 2024。这意味着，在条件不确定的情况下，也能实现高效决策。论文题目：HGCN2SP: Hierarchical Graph Convolution...
2024-08-18 20:03:47
78
转载 北京内推 | 小红书大模型机器学习团队招聘训练系统实习生
合适的工作难找？最新的招聘信息也不知道？AI 求职为大家精选人工智能领域最新鲜的招聘信息，助你先人一步投递，快人一步入职！小红书小红书是年轻人的生活方式平台，由毛文超和瞿芳于2013年在上海创立。小红书以“Inspire Lives 分享和发现世界的精彩”为使命，用户可以通过短视频、图文等形式记录生活点滴，分享生活方式，并基于兴趣形成互动。截至到2019年10月，小红书月活跃用户数已经过亿，其中7...
2024-08-17 12:51:02
73
转载 大模型时代的AI4Science！北大高毅勤教授领衔的免费公开课，来听吗？
MindSpore SPONGE暑期学校火热招生中速来解锁AI+科学计算新技能由昇思 MindSpore 开源社区联合北京大学化学与分子工程学院、北京昌平实验室、深圳湾实验室举办的第四季「MindSpore SPONGE 暑期学校」正在火热招生中，目前已收到了来自国内多个知名高校、科研机构、企业等开发者的踊跃报名。本期暑期学校主题为【分子动力学模拟方法与实践——人工智能与增强采样】，课程完全免费，...
2024-08-17 12:51:02
66
转载 小模型崛起！Llama 3.1 8B参数减半性能更强，英伟达把剪枝和蒸馏玩明白了
©作者|杜伟、陈陈、泽南来源 |机器之心上个月，Meta 发布了 Llama 3.1 系列模型，其中包括 Meta 迄今为止最大的 405B 模型，以及两个较小的模型，参数量分别为 700 亿和 80 亿。Llama 3.1 被认为是引领了开源新时代。然而，新一代的模型虽然性能强大，但部署时仍需要大量计算资源。因此，业界出现了另一种趋势，即开发小型语言模型 (SLM)，这种模型在许多语言任务...
2024-08-17 12:51:02
156
转载 为什么最近多模态大模型工作中用Q-Former结构的变少了？
©作者 | 姚林丽单位 | 北京大学研究方向 | 多模态理解我们组最近的工作 DeCo: Decoupling Token Compression from Semantic Abstraction in Multimodal Large Language Models 比较深入地分析了 Q-former 结构的问题。论文题目：DeCo: Decoupling Token Compression ...
2024-08-17 12:51:02
100
转载 博士申请 | 美国德州大学达拉斯分校陈至玉老师招收NLP方向全奖博士生
合适的工作难找？最新的招聘信息也不知道？AI 求职为大家精选人工智能领域最新鲜的招聘信息，助你先人一步投递，快人一步入职！UT Dallas德克萨斯大学达拉斯分校 (The University of Texas at Dallas，简称UTD或UT Dallas)，位于美国德克萨斯州理查德森 (Richardson) 市，成立于1969年，是德州大学系统中近年来最主要扶植的研究型大学，也是近十年...
2024-08-16 12:34:06
127
转载 清华联合蚂蚁提出TimeMixer，可分解多尺度融合的时序预测模型 | ICLR 2024
©PaperWeekly 原创 ·作者 |杜大钊单位 |中科院软件所研究方向 |时序建模本文介绍清华和蚂蚁集团在今年发表在 ICLR 2024 上的一篇文章，也是基于 MLP 来做时间序列预测任务的。论文标题：TimeMixer: Decomposable Multiscale Mixing for Time Series Forecasting论文链接：https://openrevie...
2024-08-16 12:34:06
85
转载 阿里推出AI数据科学家，全流程自动化，科研小白也能用
©作者|魔搭社区来源 |量子位QbitAI基于开源 Agent 框架，可自动解决复杂数据科学问题的 Agent 来了！具体来说，Data Science Assistant（以下称 DS Assistant）是基于 Modelscope-Agent 框架开发的数据科学助手。有了它，我们只需给需求，这个助手就能自己跑完探索性数据分析（EDA）、数据预处理、特征工程、模型训练，模型评估等步骤。当...
2024-08-16 12:34:06
49
转载 ACL 2024最佳论文开奖，多模态大模型爆火出圈！
这几天，ACL'24会议召开并公布了主会及最佳论文，多模态大模型实火，而闭幕不久的ICML'24会议也是如此，高频词大模型以600+次遥遥领先。但随着训练推理的深入，大模型也逐渐暴露出幻觉问题，研究落地面临极大挑战，于是，围绕其原因、检测、缓解等，近年顶会激增了一批大模型幻觉工作，在数据、基准、解码等多个层面，攻克方法层出不穷！为了帮助大家综合掌握大模型幻觉，研梦非凡于8月21日晚（周三），邀请了...
2024-08-16 12:34:06
125
转载 埃默里大学提出PolygonGNN，多边形几何形状的表征学习 | KDD 2024
背景简介1.1 使用多边形表示几何物体的优势图像作为一种直观普遍的数据类型被广泛应用于各种任务场景中。图像既可以表示自然界中物体，也可以表示建筑、机械部件等人造几何物体。然而对于几何物体来说，使用多边形表示比图像既节省空间又更加精确。多边形表示几何物体的例子：地图上的建筑物：想象在二维地图上有一座矩形房屋，当作为图像表示时，这幢房屋可能需要占用数百个像素，然而只有边框的黑线才是有用的信息。多边形表...
2024-08-15 18:05:45
57
转载 1篇Outstanding，5篇Oral！字节跳动ACL成果亮眼，一起和杰出论文奖作者聊聊
本周，学术界目光齐聚泰国曼谷，ACL 2024 即第 62 届国际计算语言学年会盛大开幕。大会汇聚世界各地的顶尖学者，共享最新的研究成果。根据官方数据，本届 ACL 大会 共收到近 5000 篇论文投稿，其中 940 篇被主会录用，168 篇工作入选大会口头报告（Oral），录取率低于 3.4%，这当中，字节跳动共有 5 篇成果中选 Oral。8 月 14 日下午，在备受期待的 Paper A...
2024-08-15 18:05:45
83
转载 ECCV 2024 | 北大提出全新多模态提示学习方法，让MLLM更懂人类
©作者 |雷廷单位 |北京大学王选所只用提示词，多模态大模型就能更懂场景中的人物关系了。北京大学最新提出多模态提示学习（Conditional Multi-Modal Prompt, CMMP）方法，利用提示词工程技术教会多模态大模型理解区域级的人物交互关系。论文题目：Exploring Conditional Multi-Modal Prompts for Zero-shot HOI De...
2024-08-15 18:05:45
77
转载 从ACL 2024录用论文看混合专家模型（MoE）最新研究进展
©PaperWeekly 原创 ·作者 |杨远航单位 |哈尔滨工业大学（深圳）研究方向 |自然语言处理最近 ACL 2024 论文放榜，扫了下，SMoE（稀疏混合专家）的论文不算多，这里就仔细梳理一下，包括动机、方法、有趣的发现，方便大家不看论文也能了解的七七八八，剩下只需要感兴趣再看就好。下面是列表，顺序大抵是个人兴趣程度排序。1. DeepSeekMoE: Towards Ultima...
2024-08-14 13:07:18
227
转载 为什么需要RLHF？SFT不够吗？
上月，Meta宣布推出迄今为止最强大的开源模型——Llama 3.1 405B，同时发布了全新升级的Llama 3.1 70B和8B模型。最近出现了一系列令人激动的开源大语言模型，伴随大模型一起爆火的，还有大模型的微调方法。然而随着模型规模和任务数量的增加，对整个Transformer模型进行微调也变得越来越昂贵。因此，很多参数高效微调方法（Parameter-Efficient Fine-Tun...
2024-08-14 13:07:18
75
转载 超越Llama 3.1！TII发布首个纯无注意力大模型，非Transformer架构站起来了
©作者 |杜伟、陈陈来源 |机器之心Mamba 架构的大模型又一次向 Transformer 发起了挑战。Mamba 架构模型这次终于要「站」起来了？自 2023 年 12 月首次推出以来，Mamba 便成为了 Transformer 的强有力竞争对手。此后，采用 Mamba 架构的模型不断出现，比如 Mistral 发布的首个基于 Mamba 架构的开源大模型 Codestral 7B。今天...
2024-08-14 13:07:18
102
转载 北京内推 | 腾讯机器学习平台部招聘混元大模型算法实习生
合适的工作难找？最新的招聘信息也不知道？AI 求职为大家精选人工智能领域最新鲜的招聘信息，助你先人一步投递，快人一步入职！腾讯腾讯机器学习平台部是公司核心的AI大模型研发团队，依托其丰厚的资源、强大的技术底蕴以及一支拥有前沿技术理念和实力的专业团队，始终在AI领域保持领先地位。在此，我们正在寻找对大模型技术充满热忱、求知欲和创新精神的实习生，以共同参与我们的大模型研发。作为我们团队的一员，你将有机...
2024-08-14 13:07:18
114
转载 ICML 2024 | 上海交大发布UP2ME，首个多用途通用时间序列分析框架
©作者 |ReThinklab单位 |上海交通大学背景近年来，针对多变量时间序列分析的深度学习模型发展迅速，并被应用于多种不同的任务，如预测、缺失补全和异常检测等。在其中，很大一部分模型需要根据所执行任务的特性进行量身定制。例如，趋势-季节分解常被用于预测模型、条件扩散模型被用于缺失补全等。尽管这些方法非常有效，但为不同任务选择合适的特定方法也是非常困难的。另外，即使在同一个任务中，当设置（例...
2024-08-13 12:31:50
110
转载 缝合几个模块实现了新SOTA，这样发论文算学术不端吗？
有创新点，就能顺利发paper吗？当然不是！有了创新点只是开始，模型的编码、调试才是重头戏。很多小伙伴都是改了大量的模型和代码，实验结果却没有多少提升，白白耽误投稿时间。今天就分享一些发paper必备的工具：82个即插即用缝合模块！这些模块就像积木一样，可以按照自己的想法插入到模型中，构建出自己的模型结构。而且模块都是由大牛设计，性能非常强，能大大减少我们的工作量与模型复杂程度。模块共82个：28...
2024-08-13 12:31:50
52
转载 无需人工/GPT-4V排序，针对多模态大模型的全自动多级偏好学习
©PaperWeekly 原创 ·作者 |吴文灏单位 |悉尼大学博士生研究方向 |多模态学习、视频理解前段时间分享了我们在多模态大模型（MLLM）视觉信号利用方面的思考：Dense Connector，今天想和大家分享一下我们在另一个正交维度的探索：在 MLLM 的人类反馈强化学习（RLHF）方面的思考，以下分享内容由一作小学弟张梦溪和我共同完成。论文题目：Automated Multi-...
2024-08-13 12:31:50
47
转载 博士申请 | 新加坡科技设计大学段凌杰教授招收人工智能/网络优化方向全奖博士生...
合适的工作难找？最新的招聘信息也不知道？AI 求职为大家精选人工智能领域最新鲜的招聘信息，助你先人一步投递，快人一步入职！新加坡科技设计大学新加坡科技设计大学是一所坐落于新加坡东部海岸的公立研究型大学，创校之初就与美国麻省理工学院MIT有深度合作，创校校长为MIT工学院院长的托马斯.L.马尼安提教授。此外新科大也与中国浙江大学合作，让大学成为东西方科技融会的枢纽。新加坡科技与设计大学曾被评选为全球...
2024-08-12 20:39:50
229
转载 黑匣子被打开了！能玩的Transformer可视化解释工具，本地运行GPT-2、还可实时推理...
©作者 |杜伟、大盘鸡来源 |机器之心都 2024 年，还有人不了解 Transformer 工作原理吗？快来试一试这个交互式工具吧。2017 年，谷歌在论文《Attention is all you need》中提出了 Transformer，成为了深度学习领域的重大突破。该论文的引用数已经将近 13 万，后来的 GPT 家族所有模型也都是基于 Transformer 架构，可见其影响之广。...
2024-08-12 20:39:50
55
转载 腾讯发布Project xDiT！打造DiT并行推理的vLLM
©PaperWeekly 原创 ·作者 |方佳瑞单位 |腾讯研究方向 |机器学习系统上半年，我们见证了国内视频生成领域的迅猛发展。四月份，生数科技的 ViDu [1] 成功生成了 16 秒的电影级视频，不仅在视频号上引发了热烈反响，更揭开了中国 Sora 们崭露头角的序幕。而到了六月份，快手可灵 [2]的发布，以其逼真的老铁风格，让人一时间真假难辨，更难能可贵的是它面向公众开放使用，使得...
2024-08-12 20:39:50
265
原创 同济、NUS等提出GalleryGPT，巧妙运用大模型收集绘画图像-艺术分析文本数据
©PaperWeekly 原创 ·作者 |宾燚单位 |同济大学、NUS研究方向 |视觉与语言动机和背景现有的多模态大模型大多聚焦于视觉信息（图像/视频）理解，特别是日常视觉内容理解。然而，作为人类社会发展和精神生活的重要组成部分，艺术作品（如绘画）分析被视为人类创造力的特有表现，智能分析还鲜有研究。本工作以此为切入点，探究了当前多模态大模型，如 GPT-4V 以及 Gemini，在艺术绘画...
2024-08-12 20:39:50
849
原创 重温状态空间模型SSM：HiPPO的高效计算（S4）
©PaperWeekly 原创 ·作者 | 苏剑林单位 | 科学空间研究方向 | NLP、神经网络前面我们用两篇文章《重温SSM：线性系统和HiPPO矩阵》和《重温SSM：HiPPO的一些遗留问题》介绍了 HiPPO 的思想和推导——通过正交函数基对持续更新的函数进行实时逼近，其拟合系数的动力学正好可以表示为一个线性 ODE 系统，并且对于特定的基底以及逼近方式，我们可以将线性系统的关键矩阵精确...
2024-08-11 22:15:43
473
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人