- 博客(5066)
- 收藏
- 关注
RSS订阅转载 北京内推 | 美团视觉智能部招聘多模态大模型实习生
合适的工作难找？最新的招聘信息也不知道？AI 求职为大家精选人工智能领域最新鲜的招聘信息，助你先人一步投递，快人一步入职！美团美团视觉智能部，围绕美团丰富的生活服务场景，致力于构建世界一流的视觉核心技术能力与平台服务。当前，视觉智能部技术布局已涵盖图像视频理解、内容审核、可控生成、文字识别、人像分析与实时驱动、地图生产、自动驾驶视觉感知等多个领域，在积累了国际/国内领先技术成果的同时，兼顾方法创新...
2024-11-02 13:36:27
36
原创 阿里千问提出Self-Lengthen，大模型实现自迭代扩展输出长度
©PaperWeekly 原创 ·作者 |权尚浩然单位|阿里巴巴研究方向 |大模型长文本生成介绍大模型发展迅速，Qwen，LLaMA 等模型已经展示了超长输入（128k 以上 token）的处理能力，但是还难以产生较长的文本，比如难以生成一个 2000 字的小说或议论文。我们分析这是由于训练过程中的缺陷：在 pre-training 阶段，尽管有各种长文本来源可供使用，却缺乏有效的指令来...
2024-11-02 13:36:27
375
原创 NeurIPS 2024 | 中国科大、阿里云提出可信赖的大模型测评工具
©PaperWeekly 原创 ·作者 |李佳桐单位|中国科学技术大学论文标题：PertEval: Unveiling Real Knowledge Capacity of LLMs with Knowledge-Invariant Perturbations论文链接：https://arxiv.org/abs/2405.19740开源代码：https://github.com/aigc-...
2024-11-02 13:36:27
245
转载 今晚直播 | 上海交大刘鹏飞老师团队：大模型安全对齐技术前沿
AI安全说 第7期嘉宾在线解读✔️在线实时Q&A✔️直播主题大模型安全对齐技术前沿直播嘉宾刘一秀上海交通大学硕士生陈奕融卡内基梅隆大学本科生直播时间2024年11日（周六）19:30-21:00观看方式PaperWeekly视频号PaperWeekly B站直播间一键预约直播▼报告介绍01大模型对齐与安全评估近年来，随着人工智能技术的快速发展，大模型对齐问题日益凸显...
2024-11-02 13:36:27
5
转载 直播预告 | 上海交大刘鹏飞老师团队：大模型安全对齐技术前沿
AI安全说 第7期嘉宾在线解读✔️在线实时Q&A✔️直播主题大模型安全对齐技术前沿直播嘉宾刘一秀上海交通大学硕士生陈奕融卡内基梅隆大学本科生直播时间2024年11日（周六）19:30-21:00观看方式PaperWeekly视频号PaperWeekly B站直播间一键预约直播▼报告介绍01大模型对齐与安全评估近年来，随着人工智能技术的快速发展，大模型对齐问题日益凸显...
2024-11-01 19:43:36
14
原创 多模态的幻觉诅咒！达摩院新作评估多模态大模型在语言、视觉和音频上的幻觉问题...
阿里巴巴达摩院和新加坡南洋理工大学的研究团队提出了全新的评价基准--多模态的诅咒（CMM），这是首个系统性地研究面向语言，视觉，和音频的多模态大模型（LMMs）幻觉问题的工作，对幻觉问题提供深入的分析和评估方法。近年来，多模态大模型（LMMs）在人工智能的前沿领域取得了突破性进展，但仍然面临“幻觉”问题，即模型会生成与输入不符的信息。面对这一挑战，学术界提出了多种评价基准以及改进方法，但这些方法大...
2024-11-01 19:43:36
355
转载 ECCV 2024 | 视觉定位新SOTA！将视觉定位的目标边界框转化为分割信号
论文标题：SegVG: Transferring Object Bounding Box to Segmentation for Visual Grounding论文地址：https://arxiv.org/abs/2407.03200代码地址：https://github.com/WeitaiKang/SegVG/tree/main动机视觉定位（Visual Grounding）旨在基于自由形式...
2024-11-01 19:43:36
7
转载 DeepMind提出针对MoE的全新攻击方法，揭示模型中的用户提示泄露风险
1. 引言Mixture-of-Experts (MoE) 架构在大型语言模型（LLMs）中扮演着越来越重要的角色，尤其是在应对日益增长的计算需求方面。MoE模型通过将每个输入token路由到少量的专家模块，从而提高了计算效率和可扩展性。这种选择性激活的机制使得模型能够在处理输入时仅激活必要的专家，从而在保持性能的同时降低了计算成本。然而，尽管MoE架构在性能上具有显著优势，但它们也引入了新的安全...
2024-11-01 19:43:36
9
转载 杭州内推 | 阿里达摩院决策智能实验室招聘大模型方向研究型实习生
合适的工作难找？最新的招聘信息也不知道？AI 求职为大家精选人工智能领域最新鲜的招聘信息，助你先人一步投递，快人一步入职！阿里达摩院阿里巴巴达摩院决策智能实验室 (DI-Lab)致力于开发和运用尖端机器学习和运筹优化技术构建智能决策系统，用于探索未知前沿，降低运营成本，提升业务运营效率。团队成员分布在西雅图、杭州和北京，来自 MIT、Gatech、UCLA、Columbia、清华、北大、上交、浙...
2024-10-31 21:08:12
28
原创 多智能体系统幻觉与安全机制：拓扑视角下的Multi-Agent系统安全概念
基于大语言模型（LLM）的多智能体系统（Agents）的各种框架、应用在学术界和工业界的日益增多，并表现出卓越的任务解决、情景模拟的能力。但是，如何防止 Agents 被用于恶意行为仍未得到广泛的关注和探索，且以往 LLM 的安全性研究难以迁移。本文首次以“拓扑结构”的视角来探索多 Agents 系统对于各种有害信息的传递和防御机制，发现了 Agents 中类似于 LLM 的幻觉和安全性机制。论文...
2024-10-31 21:08:12
424
原创 NeurIPS 2024 | 浙大提出Chat-Scene，赋予3D大模型精准的物体指代与定位能力
背景介绍多模态大语言模型（Multi-modal Large Language Models, MLLMs）以文本模态为基础，将其它各种模态对齐至语言模型的语义空间，从而实现多模态的理解和对话能力。近来，随着多模态大语言模型在 3D 领域的迅速发展，3D 大语言模型展现了其在场景理解和交互方面的巨大潜力。然而，现有 3D 大模型在复杂场景中视觉定位能力仍有较大提升空间，尤其是在多物体、多层次场景的...
2024-10-31 21:08:12
727
转载 字节跳动提出AutoKaggle，用多代理协作与迭代调试提升竞赛的自动化效率
1. 引言在数据科学领域，处理表格数据的任务通常面临着复杂的挑战，这些挑战需要采用精细化的问题解决方法。随着大型语言模型（LLMs）的快速发展，自动化数据科学逐渐成为可能。现有的研究表明，基于LLM的代理在数据领域展现出了巨大的潜力，能够自动理解、分析和处理数据，从而促进数据科学的民主化和广泛应用。然而，当前的研究在解决复杂数据科学问题方面仍存在显著不足。许多研究仅限于简单的单步数据分析任务，远未...
2024-10-31 21:08:12
15
转载 课程升级、资源加码！万人共学的书生大模型实战营第4期正式起航！
不知不觉间，书生大模型实战营已迎来第四期！回顾前三期，累计超过 15W 人次踊跃参与，涌现出像「InternDog」和「销冠——卖货主播大模型」这样的明星项目，感谢社区小伙伴们给予的我们的无数肯定与热情反馈。很多学员向我们分享，实战营不仅让他们掌握了大模型的核心技能，还让他们在升学、保研、实习、求职的路上更具竞争力。那种与“大佬”们并肩作战、共同学习的氛围，成就了他们一段珍贵的回忆。本期实战营课程...
2024-10-30 20:28:48
14
原创 IEEE TNNLS期刊：面向跨网络边分类的域自适应图注意力监督网络
©PaperWeekly 原创 ·作者 | 沈笑单位 |海南大学副教授研究方向 | 图神经网络、跨网络节点分类本文介绍一篇 IEEE TNNLS 期刊发表的论文，面向跨网络边分类的域自适应图注意力监督网络 [1]。论文题目：Domain-Adaptive Graph Attention-Supervised Network for Cross-Network Edge Classificati...
2024-10-30 20:28:48
633
转载 博士申请 | 上海人工智能实验室招募多模态大模型等方向联培博士/实习生
合适的工作难找？最新的招聘信息也不知道？AI 求职为大家精选人工智能领域最新鲜的招聘信息，助你先人一步投递，快人一步入职！上海人工智能实验室上海人工智能实验室是我国人工智能领域的新型科研机构，开展战略性、原创性、前瞻性的科学研究与技术攻关，突破人工智能的重要基础理论和关键核心技术，打造“突破型、引领型、平台型”一体化的大型综合性研究基地，支撑我国人工智能产业实现跨越式发展，目标建成国际一流的人工智...
2024-10-30 20:28:48
78
原创 矢量量化（VQ）的旋转技巧：梯度直通估计的一般推广
©PaperWeekly 原创 ·作者 | 苏剑林单位 | 科学空间研究方向 | NLP、神经网络随着多模态 LLM 的方兴未艾，VQ（Vector Quantization）的地位也“水涨船高”，它可以作为视觉乃至任意模态的 Tokenizer，将多模态数据统一到自回归生成框架中。遗憾的是，自 VQ-VAE 首次提出 VQ 以来，其理论并没有显著进步，像编码表的坍缩或利用率低等问题至今仍亟待解...
2024-10-30 20:28:48
648
转载 博士申请 | 南方科技大学-鹏城实验室招收多模态深度学习方向联培博士生
合适的工作难找？最新的招聘信息也不知道？AI 求职为大家精选人工智能领域最新鲜的招聘信息，助你先人一步投递，快人一步入职！南方科技大学-鹏城实验室南方科技大学（简称：南科大）是深圳在中国高等教育改革发展的时代背景下创建的一所高起点、高定位的公办新型研究型大学。2022年学校入选“双一流”建设高校及建设学科名单。学校借鉴世界一流理工科大学的学科设置和办学模式，以理、工、医为主，兼具商科和特色人文社科...
2024-10-29 13:08:42
16
转载 正式编制+全方位人才保障！北京师范大学人工智能学院诚邀全球英才加盟
北京师范大学实验幼儿园北京师范大学实验小学北京市三帆中学（初中）北师大二附中（高中）滑动查看更多教师办公室研究生工位滑动查看更多
2024-10-29 13:08:42
9
原创 高效评估多模态LLM预训练质量！中科大等提出模态融合率MIR
©PaperWeekly 原创 ·作者 |黄启栋单位 |中科大、上海AI Lab研究方向 |多模态大模型近日，中国科学技术大学与上海人工智能实验室的研究者们提出了一种新的评估指标——模态融合率（Modality Integration Rate，MIR），旨在高效评估多模态大模型的预训练质量。该指标可以在快速准确地衡量预训练后多模态 LLM 的模态对齐程度。论文标题：Deciphering...
2024-10-29 13:08:42
673
转载 Salesforce联合厦大提出统一对齐框架UNA：综合RLHF、DPO、KTO优势
©作者 |王智超、闭彬、黄灿单位 |Salesforce、厦门大学随着大规模语言模型的快速发展，如 GPT、Claude 等，LLM 通过预训练海量的文本数据展现了惊人的语言生成能力。然而，即便如此，LLM 仍然存在生成不当或偏离预期的结果。这种现象在推理过程中尤为突出，常常导致不准确、不符合语境或不合伦理的回答。为了解决这一问题，学术界和工业界提出了一系列对齐（Alignment）技术，旨在...
2024-10-29 13:08:42
7
转载 博后招募 | 北京大学黄松芳老师课题组招聘大模型方向博后/工程师/访问学生...
合适的工作难找？最新的招聘信息也不知道？AI 求职为大家精选人工智能领域最新鲜的招聘信息，助你先人一步投递，快人一步入职！北京大学北京大学工学院从成立开始就从高起点出发，立足于尖端科技、交叉学科，着眼于未来工程科学和新技术的发展方向，面向国家迫切需要及关系国家中长远经济发展的科学与技术研发。学院现设有5个系，以及湍流与复杂系统国家重点实验室、北京市工程科学与新兴技术高精尖创新中心等多个重要研究机构...
2024-10-28 12:35:01
23
转载 居然还没跑完实验？CVPR截稿倒计时，低价高效算力帮你快速翻盘！
CVPR 2025 开放注册的第一天，注册人数就已达数千人，火爆程度可见一斑。今年 AAAI 和 ICLR 都在 CVPR 截稿前 rebuttal，想必 CVPR 的投稿数量会再创新高。想要从众多文章里脱颖而出，除了有一个精彩的 idea，详实的实验数据也是必不可少的。目前，距离 CVPR 截稿已进入倒计时，许多同学正进入实验和模型验证的关键阶段，压力逐步攀升。实验算力成了此刻最紧缺的资源，而算...
2024-10-28 12:35:01
27
转载 无循环无卷积！上海交大提出时空预测学习新里程碑PredFormer
时空预测学习是一个拥有广泛应用场景的领域，比如天气预测，交通流预测，降水预测，自动驾驶，人体运动预测等。提起时空预测，不得不提到经典模型 ConvLSTM 和最经典的 benchmark moving mnist，在 ConvLSTM 时代，对于 Moving MNIST 的预测存在肉眼可见的伪影和预测误差。而在最新模型 PredFormer 中，对 Moving MNIST 的误差达到肉眼难以...
2024-10-28 12:35:01
31
原创 NeurIPS 2024 | 摆脱任务孤立：中科大提出任务级别时空持续学习新框架
时空学习技术现已成为城市智能和可持续发展的驱动力。尽管目前可获得的数据在模态、类型、规模上不断增长，现有时空学习模型几乎全部为独立训练和部署，未能打通数据内在的依赖关系，从而导致类似模型需重复训练、新任务冷启动挑战等瓶颈，多源多任务数据的集体智慧利用率不高。为提升不同源数据的集体智能，打破时空学习模型相对孤立、突破任务侧泛化难的挑战，中科大数据智能研究团队（苏州）提出了任务级别时空持续学习新框架。...
2024-10-28 12:35:01
913
转载 NeurIPS 2024 | 涨点神器树形SSM！清华、腾讯提出多功能多模态框架GrootVL
使用递归范式传播特征的状态空间模型展示了与 Transformer 模型相当的强大表征能力和卓越的推理效率。然而，受序列固有几何约束的限制，它在建模远程依赖方面稍显不足。为了解决这个问题，我们提出了 GrootVL 网络，它首先基于空间关系和输入特征动态生成树形拓扑结构。然后，基于该无环图执行特征传播，从而打破原始序列约束以实现更强的表征能力。此外，我们引入了一种线性复杂的度动态规划算法，在不增加...
2024-10-27 18:07:17
24
原创 NUS、NTU等提出通用像素级视觉大语言模型，实现理解、生成、分割、编辑大统一...
©PaperWeekly 原创 ·作者 |费豪单位 |Skywork AI、NUS近年来，视觉大型语言模型（MLLM）的发展取得了显著进展，但在迈向多模态通用性时仍面临一些挑战，例如粗粒度的实例级理解、缺乏对图像和视频的统一支持，以及对不同视觉任务的覆盖不足。来自新加坡国立大学、南洋理工大学和 Skywork AI 的团队提出了 VITRON——一个为全面理解、生成、分割和编辑静态图像与动态...
2024-10-27 18:07:17
804
转载 告别内存与训练表现的取舍！Fira首次实现低秩约束下的大模型全秩训练
内存占用与训练表现的取舍，一直是大模型高效训练的难题。为了突破内存瓶颈，许多低秩训练方法应运而生，如 LoRA（分解参数矩阵）和 GaLore（分解梯度矩阵）。▲ 图1：从宏观层面分析三种内存高效低秩训练方法然而，如上图所示，LoRA 将训练局限于参数的低秩子空间，降低了模型的表征能力，难以实现预训练；GaLore 将训练局限于梯度的低秩子空间，造成了子空间外梯度的信息损失。相较于全秩训练，这两种...
2024-10-27 18:07:17
26
转载 MIT韩松团队提出DuoAttention框架：单GPU实现330万Token上下文推理
©作者 |肖光烜单位 |麻省理工学院博士生研究方向 |深度学习加速TL;DR：DuoAttention 通过将大语言模型的注意力头分为检索头（Retrieval Heads，需要完整 KV 缓存）和流式头（Streaming Heads，只需固定量 KV 缓存），大幅提升了长上下文推理的效率，显著减少内存消耗、同时提高解码（Decoding）和预填充（Pre-filling）速度，同时在长短...
2024-10-25 22:22:09
35
转载 北京内推 | 微软亚洲研究院通用人工智能组招聘多模态方向实习生
合适的工作难找？最新的招聘信息也不知道？AI 求职为大家精选人工智能领域最新鲜的招聘信息，助你先人一步投递，快人一步入职！微软亚洲研究院微软亚洲研究院通用人工智能组（General Artificial Intelligence Group）专注于大型基础模型和通用人工智能、自然语言处理、语音处理、多模态人工智能和人工智能代理的研究。多模态方向实习生坐标：北京岗位要求1. 具有自然语言处理相关知识...
2024-10-25 22:22:09
25
原创 一个Agent拿下15款Atari游戏，RL也能实现Pretraining、Scaling和Few-shots微调
©PaperWeekly 原创 ·作者 |程杰单位 |中科院自动化所、阿里通义实验室研究方向 |强化学习论文标题：Scaling Offline Model-Based RL via Jointly-Optimized World-Action Model Pretraining论文链接：https://arxiv.org/abs/2410.00564代码链接（含模型权重）：https:/...
2024-10-25 22:22:09
734
转载 NeurIPS 2024 | 字节联合华师提出统一的多模态文字理解与生成大模型
研究背景与挑战在人工智能领域，赋予机器类人的图像文字感知、理解、编辑和生成能力一直是研究热点。目前，视觉文字领域的大模型研究主要聚焦于单模态生成任务。尽管这些模型在某些任务上实现了统一，但在 OCR 领域的多数任务上仍难以达成全面整合。例如，Monkey 等视觉语言模型（VLM）擅长文字检测、识别和视觉问答（VQA）等文本模态生成任务，却无法胜任文字图像的生成、抹除和编辑等图像模态生成任务。反之，...
2024-10-25 22:22:09
27
转载 华为、Mila联合提出基于图的可控数据合成，提升大模型长逻辑链推理能力
©PaperWeekly 原创 ·作者 |马力恒单位 |McGill/Mila研究方向 |图神经网络大语言模型（LLMs）在理解和生成类人语言方面取得了巨大的进步，展现了其在自然语言处理上的强大潜力。然而，当涉及逻辑推理，尤其是多跳推理和复杂关系时，这些模型的能力仍然有待提高。LLM 的未来不只是通过更大的模型和更多的数据来实现，而在于如何使用更智能的数据和更有效的方法来训练这些系统，从而...
2024-10-24 13:47:13
29
转载 博士申请 | 香港科技大学（广州）杨萌林老师招收大模型方向全奖博士/RA
合适的工作难找？最新的招聘信息也不知道？AI 求职为大家精选人工智能领域最新鲜的招聘信息，助你先人一步投递，快人一步入职！香港科技大学（广州）香港科技大学（广州）是《粤港澳大湾区发展规划纲要》及《广州南沙深化面向世界的粤港澳全面合作总体方案》颁布实施以来成立的首家具有独立法人资格的内地与香港合作办学机构，经国家教育部批准于2022年6月正式成立。香港科技大学（广州）锐意创新，以发展融合学科为特色，...
2024-10-24 13:47:13
425
原创 NeurIPS 2024 | 动态优化：解锁DPO新潜能
©PaperWeekly 原创 ·作者 |吴俊康单位 |中国科学技术大学博士生研究方向 |大模型微调-DPO 是一种改进的直接偏好优化（DPO）框架，它通过动态调整超参数 来适应不同的数据质量和减少异常值的影响。该方法不仅提高了偏好优化的效果，而且因其简单有效、无需复杂配置而易于实施。实验结果显示，-DPO 在多个数据集上都优于传统的 DPO 方法，展示了其作为未来语言模型训练优化策略的...
2024-10-24 13:47:13
910
转载 北京内推 | AMD北京AI算法团队招聘模型量化/剪枝算法实习生（可远程）
合适的工作难找？最新的招聘信息也不知道？AI 求职为大家精选人工智能领域最新鲜的招聘信息，助你先人一步投递，快人一步入职！AMDAMD 是高性能与自适应计算领域的领先企业，致力于提供优质的产品和服务，助力客户解决各种重大的挑战。我们的技术推动着数据中心、嵌入式系统、游戏和 PC 市场迈向未来。AMD 于 1969 年在硅谷创立，最初只有几十名员工，从那时起 AMD 便踏上创新之路，致力于引领半导体...
2024-10-23 13:18:08
223
转载 NeurIPS 2024 | 中科大、微信等提出VLoRA：参数空间对齐的多模态大模型范式
©作者 |Feipeng Ma单位 | 中国科学技术大学本文提出了一种参数空间对齐的多模态大模型范式，该范式将输入图像特征转换成 LoRA 权重并合并到 LLM 中，使 LLM 感知图像视觉信息。该范式避免了在 LLM 的输入序列中引入视觉标记，在训练和推理上都非常高效。论文已被 NeurIPS 2024 接收，论文链接和代码均已公开，欢迎交流。文章链接：https://arxiv.org/pd...
2024-10-23 13:18:08
48
转载 用Kaggle比赛金牌项目发了顶会！
你可能不知道，打比赛的时候需要读论文！而且打完的比赛，在比赛当中解决的问题可以成为你发论文的创新点！kaggle打怪升级的方式，是入门人工智能的优选。能把从科研成果到实际应用形成闭环。我们在初学kaggle比赛时，可以找一些金牌or优秀解决方案参考学习。我已经整理好了50+场kaggle比赛方案，大家可以扫码领取（下滑了解kaggle冲牌班）。金牌优秀解决方案扫码领但这些开源代码再优秀，可迁移性不...
2024-10-23 13:18:08
50
原创 AI Lab、港中文提出G-Designer，首个基于GNN的群体智能拓扑设计师
©PaperWeekly 原创 ·作者 |张桂彬单位 |上海AI Lab & 同济大学研究方向 |群体智能▲ 图1 主流的多智能体系统拓扑架构随着基于大型语言模型（LLM）的智能体（agents）的发展，人们越来越意识到单个智能体的局限性。通过将多个 LLM 基础的智能体组合成一个团队，可以展现出类似于人类团队合作的集体智能（collective intelligence），从而在...
2024-10-23 13:18:08
787
转载 TPMAI 2024 | 无监督盲超分算法MLMC，代码已开源！
©PaperWeekly 原创 ·作者 |杨志雄单位 |国防科技大学博士生研究方向 |智能图像处理导言近年来，基于深度学习的方法在盲单图像超分辨率（SISR）任务中取得了巨大成功。然而，现有方法通常需要手工设计的先验和基于有监督学习的先验。基于模型方法通常存在着不适定性和盲 SISR 问题的非凸性，在优化过程中通常会陷局部模式。基于学习方法在实际应用中仍然受到对训练样本的高度数据依赖和模型...
2024-10-22 12:37:09
45
原创 大模型时代的对话分析：阿里最新综述全面解析对话分析的必要性
背景随着大语言模型的发展，下一代系统交互朝着基于自然语言对话交互（LanguageUI）高速发展，这将会产生大量的自然语言交互日志，对这些对话日志进行提取、总结、分析、推理，将会带来如等系统优化、客户运营、需求洞察等大量的新应用。对话分析（Conversation Analysis, CA）旨在从对话（如人人、人机、机器与机器以及多方会话）中识别关键信息，挖掘潜在原因，并制定解决方案以持续推动相关...
2024-10-22 12:37:09
746
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人