- 博客(4788)
- 收藏
- 关注
RSS订阅转载 多模态，彻底爆发了！
自从ChatGPT和其他大语言模型的出现，人工智能领域发生了巨大变革，尤其是视觉语言多模态大模型的研究和应用。（文末有顶会idea分享）这次我将重要的多模态大模型资料包括670篇多模态大模型论文、140份多模态和大模型报告、多模态大模型最全综述、视觉大语言模型公开课、8小时多模态前沿系列课全部免费分享出来。因篇幅有限，仅展示部分资料，扫码回复领取最全资料学习！扫码回复“多模态”前沿资料全部免费领取...
2024-07-26 13:31:57
8
转载 顶刊TPAMI 2024！清华提出ProCo，无限Contrastive Pairs的长尾对比学习
©作者 |杜超群单位 |清华大学博士生研究方向 |长尾学习、半监督学习本文介绍清华大学的一篇关于长尾视觉识别的论文，该工作已被 TPAMI 2024 录用，代码已开源。该研究主要关注对比学习在长尾视觉识别任务中的应用，提出了一种新的长尾对比学习方法 ProCo，通过对 contrastive loss 的改进实现了无限数量 contrastive pairs 的对比学习，有效解决了监督对比学...
2024-07-26 13:31:57
3
转载 ICML 2024 | DPO是否比PPO更适合LLM？清华吴翼团队最新揭秘
©作者 |吴翼单位 |清华大学助理教授来源 |机器之心如何让大模型更好的遵从人类指令和意图？如何让大模型有更好的推理能力？如何让大模型避免幻觉？能否解决这些问题，是让大模型真正广泛可用，甚至实现超级智能（Super Intelligence）最为关键的技术挑战。这些最困难的挑战也是吴翼团队长期以来的研究重点，大模型对齐技术（Alignment）所要攻克的难题。对齐技术中，最重要的算法框架就是...
2024-07-25 14:19:51
17
原创 ECCV 2024 | 清华等提出扰动生成器网络，用CLIP提升有目标对抗攻击迁移性
介绍目前，以深度神经网络为基础人工智能技术被广泛用于许多安全关键领域，如自动驾驶、金融系统、人脸识别。然而，众多研究指出，深度神经网络容易受到对抗样本的威胁，恶意攻击者可以对图片添加一些人眼难以感知的扰动，从而改变模型输出，欺骗模型。现有研究表明，由白盒代理模型生成的对抗样本也能迁移欺骗其他未知的黑盒模型。然而，它们仅在无目标迁移攻击上表现较为良好。即由于过度依赖于白盒模型，这些方法在有目标黑盒...
2024-07-25 14:19:51
195
转载 Llama 405B背后的训练、对齐技术演变路径
随着大模型的飞速发展，在短短一年半间就有了大幅度的技术迭代更新，LoRA，QLoRA，AdaLoRa，ZeroQuant，Flash Attention，DPO等技术效果已经在工业界逐渐得到验证。过去半年又涌现出更多效果更好的技术和模型，从Mamba2，Jamaba，TTT等基座模型，到Dora，LoftQ，GaLore等最新的微调技术；KTO，IPO，SimPO等对齐技术；再到GPTQ，Smoo...
2024-07-25 14:19:51
11
原创 ACM MM 2024 | 揭示文生图扩散模型的结构级记忆，提升成员推理攻击成功率
©PaperWeekly 原创 ·作者 |李乔单位 |中国科学院信息工程研究所大规模文生图扩散模型的发展所带来的风险和安全问题引发了广泛关注。模型开发者可能会滥用未授权的数据来训练扩散模型，这些数据存在被模型记忆的风险，从而可能侵犯公民的隐私权。成员推理攻击（Membership Inference Attack, MIA）方法可以用于判断特定图片是否被用于模型训练。然而，当前针对扩散模型的...
2024-07-24 12:34:11
576
转载 大模型中文内容安全评测发布，幻方DeepSeek-67B模型夺魁，谷歌7B模型表现亮眼...
©作者 | 魏鸿鑫单位 | 南方科技大学助理教授研究方向 | 机器学习引言为了全面探究当前大语言模型在中文环境下的内容风控能力，南方科技大学 “Data+AI” 数据智能实验室魏鸿鑫课题组联合北京滴普科技有限公司发布了中文内容安全评测数据集（ChineseSafe），并对当前主流的大语言模型进行了详细的评测，有望为众多科研机构与企业提供开源模型和 API 在中文内容安全能力上的参考。我们将尽快在 ...
2024-07-24 12:34:11
15
转载 博士申请 | 香港理工大学李恒云教授招收大数据/机器学习全奖博士/博后/RA
合适的工作难找？最新的招聘信息也不知道？AI 求职为大家精选人工智能领域最新鲜的招聘信息，助你先人一步投递，快人一步入职！香港理工大学香港理工大学(The Hong Kong Polytechnic University) 是一所位于中国香港的公立综合性研究型大学，坐落于香港九龙红磡湾。香港理工大学是香港地区的顶尖高校之一，并长期入选“QS世界百强大学”及“泰晤士高等教育世界百强大学”。在202...
2024-07-24 12:34:11
25
原创 ICML 2024 Spotlight | 将表格数据中的专家知识迁移到图像中
跨越多种数据模态进行知识迁移在机器学习领域受到越来越多的关注。本文解决了利用具有专家知识的、但获取代价高昂的表格数据来增强基于图像的预测任务，以面对在推理阶段表格数据不可用的情况。主要的挑战在于如何准确地将多样化的表格数据映射到图像中，以及如何为数值型和类别型表格属性设计不同策略。我们提出了基于最优输运的图像通道与表格属性对齐方法 Charms，它在图像通道和表格属性之间建立对齐关系，从而选择与视...
2024-07-23 12:35:51
829
转载 北京内推 | Apple中国NLP团队招聘NLP/LLM/多模态方向算法实习生
合适的工作难找？最新的招聘信息也不知道？AI 求职为大家精选人工智能领域最新鲜的招聘信息，助你先人一步投递，快人一步入职！AppleApple is a place where extraordinary people gather to do their best work. Our community is made up of every kind of individual: artist...
2024-07-23 12:35:51
29
转载 顶会今年这情况，很严重，大家做好准备吧！
很多人总是误以为，靠着自己的认真努力就能把SCI/CCF论文发出来，可真相是：只知道一味地努力，是一种完完全全错误的学生思维，是发不出论文的。科研是有“门槛”和“信息差”的，真正的高手，则是正确地掌握了发表论文的“套路”和“解法”，录用率直接提升80%。有的成功保研，有的顺利毕业，有的申请了海外名校，有的实现了升职加薪。他们很多人拿到顶会顶刊录用，最核心的原因不仅仅是单纯的努力，而是掌握了正确的套...
2024-07-23 12:35:51
20
转载 从答题到阅卷，还以MMLU评测大模型你就out了
©作者 | 中森单位 | 香港中文大学博士生研究方向 | 条件受控文本生成太长不看版：本工作联合 MIT，清华，剑桥，爱丁堡，港中文等知名院校，提出了一个评测模型对复杂问题的推理过程的“阅卷”批改能力的评测数据集，有别于以前的以结果匹配为评测模式的数据集 MR-Ben，我们的数据集基于 GSM8K [1], MMLU [2]，LogiQA [3]，MHPP [4] 等数据集经由细致的高水平人工标注...
2024-07-23 12:35:51
16
原创 ICML 2024 | 川大发布用于开集图像复原的测试时退化适应框架
©PaperWeekly 原创 ·作者 |缑元彪单位 |四川大学彭玺教授课题组研究方向|图像复原论文标题：Test-Time Degradation Adaptation for Open-Set Image Restoration收录会议：ICML 2024, Spotlight论文地址：https://openreview.net/pdf/cbe8a535cb6ad39d7f4315...
2024-07-22 13:46:44
513
转载 博士申请 | 南丹麦大学方承副教授组招收机器人/机器学习方向全奖博士生
合适的工作难找？最新的招聘信息也不知道？AI 求职为大家精选人工智能领域最新鲜的招聘信息，助你先人一步投递，快人一步入职！南丹麦大学南丹麦大学 (University of Southern Denmark) 是丹麦机器人研究的中心及诞生地，其具有世界一流的机器人科研环境和设备且在协作机器人领域处于全球领先地位。著名的世界协作机器人领导者 Universal Robots (UR) 亦是方承所在的...
2024-07-22 13:46:44
40
转载 可「自主进化」的Agent？首个端到端智能体符号化训练框架开源了
©作者|周王春澍、姜昱辰等单位 |波形智能、浙江大学等来源 |机器之心随着各类大模型 API 的迭代以及各类 AI Agent 框架的开源，基于大模型的智能体在学术界和工业界收获了广泛的关注、研究、和应用。尽管基于大模型的智能体 (AI Agent) 在很多场景都取得了不错的效果，并且在一些场景下已经能够实际落地应用，AI Agent 的研究和开发的进展仍然局限于 “expert-cent...
2024-07-22 13:46:44
37
转载 文末送书 | 连续25年美国统计类教材排名第一，这本统计学神书中文版来啦！...
你见过不断更新再版到第14版的统计学书吗？我们说，评价一本书好坏可以参照的一个标准就是其再版次数，一本书可以出版到第14版，可见其畅销经典程度！而且这本书连续25年在美国统计类教材排名第一，已被翻译成多国文字，堪称国际版统计教材！这本神书就是《基础统计学（第14版）（双色）》！对每一位学习统计学的小伙伴来说，它就是案头宝典级的存在！为什么学习统计学统计学是我们认识外部世界的基本工具，无论是自然科学...
2024-07-21 23:51:16
27
转载 首个WebAgent在线评测框架和流程数据管理平台，GPT-4、Qwen登顶榜首！
论文标题：WebCanvas: Benchmarking Web Agents in Online Environments论文链接：https://arxiv.org/pdf/2406.12373WebCanvas平台链接：https://imean.ai/web-canvas项目代码链接：https://github.com/iMeanAI/WebCanvas数据集链接：https://hug...
2024-07-21 23:51:16
32
原创 ICML 2024 | 图上的泛化挑战：从不变性到因果性
©PaperWeekly 原创 ·作者 |吴齐天单位 |上海交通大学博士生研究方向 |机器学习与图深度学习图机器学习目前仍然是一个热门的研究方向，特别是在 AI4Science 的浪潮推动下，涌现出越来越多样化的图数据的应用场景。不同于一般的图像和文本数据，图（Graph）是一种数学抽象后的数据形式，用以描述一个系统中实体的属性和实体之间的相互作用关系。因此，图结构数据不仅可以描述不同尺度...
2024-07-21 23:51:16
799
原创 大一统！深度学习和传统机器学习终迎来统一的RPN理论框架表示
背景介绍在过去的 70 年里，人工智能领域在研究的问题和使用的模型方面都经历了巨大的变化。随着新学习任务的出现，各种基于不同先验假设的机器学习模型被提出以解决这些问题。在上图中，我们展示了过去 50 年里主导人工智能领域的三种类型的机器学习模型，包括概率图模型、支持向量机、和深度神经网络。随着技术上的重要突破，这些模型各自有其辉煌时期，并在当今的数据科学和机器学习相关的各种研究和应用任务中得到了广...
2024-07-20 23:23:49
889
转载 深圳内推 | 腾讯音乐天琴实验室招聘多模态大模型研究员（社招/校招）
合适的工作难找？最新的招聘信息也不知道？AI 求职为大家精选人工智能领域最新鲜的招聘信息，助你先人一步投递，快人一步入职！腾讯音乐腾讯音乐天琴实验室致力于用创新技术促进音乐娱乐行业的发展。腾讯音乐天琴实验室面向QQ音乐、全民k歌、腾讯音乐人、酷我、酷狗等产品的多媒体与AI应用型技术研究与落地。负责的明星项目包括QQ音乐上的听歌识曲、哼唱识别、翻唱识别、歌词时间戳、臻品音质、DMEE、mv视频剪辑、...
2024-07-20 23:23:49
36
原创 ACL 2024 | Parrot（鹦鹉）：增强大语言模型在多轮对话中的指令跟随能力
多轮对话是大语言模型与人类互动的主要方式，广泛应用于消费娱乐、生产力工具和创意生成等场景。然而，构建多轮对话能力所需的训练数据人工标注成本高，且难以控制质量和多样性。因此，如何增强大模型的多轮交互能力，一直是业界一项重大技术挑战，其对于大模型研发和落地应用的重要价值不言而喻。本文介绍了快手「快意」大模型团队和中国人民大学合作，在多轮指令跟随模型训练、数据合成以及评测上所做的系统工作 Parrot（...
2024-07-20 23:23:49
555
转载 ICML 2024 | 在解码中重新对齐，让语言模型更少幻觉、更符合人类偏好
©作者 |Tianlin Liu单位 |巴塞尔大学本文介绍了一篇语言模型对齐研究的论文，由瑞士、英国、和法国的三所大学的博士生和 Google DeepMind 以及 Google Research 的研究人员合作完成。其中，通讯作者 Tianlin Liu 和 Mathieu Blondel 分别来自瑞士巴塞尔大学和 Google DeepMind Paris。这篇论文已被 ICML 202...
2024-07-20 23:23:49
40
转载 小红书「REDstar顶尖人才计划」全球启动！
使用PaperWeekly独家内推码QBAA1LXTE6RF助你在起跑线上快人一步迅速斩获小红书OFFER▼ 点击「阅读原文」，立即投递
2024-07-19 12:37:40
28
原创 多模态安全偏好对齐数据集SPA-VL，全方位提升多模态大模型安全能力
随着人工智能技术的飞速发展，多模态模型（Large Multi-modal Models, MLLMs）凭借其在视觉与语言信息处理上的卓越能力，已经成为研究领域的热点话题。然而，技术进步的同时，这些模型的安全性问题也日益受到全球研究者的关注。近期，中国科学技术大学、复旦大学和上海人工智能实验室的联合研究团队，针对这一挑战，提出了创新性的解决方案——SPA-VL 数据集，为多模态模型的安全性研究树立...
2024-07-19 12:37:40
821
转载 快手开源大模型长序列训练加速技术，性能大幅超越SOTA方案
导读在深度学习领域，训练大型语言模型（LLMs）一直是一项极具挑战性的任务，它不仅需要巨大的计算资源，同时对内存的消耗也非常巨大。近期，快手大模型团队提出了创新的方法，包括感知流水并行的激活值卸载以及计算-内存均衡的检查点策略，旨在无损地加速大型语言模型的训练过程。目前论文入选 ATC 2024 大会，代码已开源。论文核心贡献：1. 感知流水并行的激活值卸载（Pipeline-Parallel-A...
2024-07-19 12:37:40
18
转载 Neural Networks (CCF-B) 特刊征稿：大语言模型时代的模型压缩
简介大语言模型（LLMs）作为基于神经网络的大规模预训练统计语言模型系列，在自然语言处理、多智能体系统和多模态AI等多个领域取得了显著成功。由于应用场景广泛，LLMs 面临显著的效率挑战。直接在个人电脑和智能手机等边缘设备上部署拥有数十亿参数的LLMs几乎是不可能的。这些场景为LLMs时代的模型压缩研究提供了强大动力，例如模型量化、稀疏化和蒸馏，可以降低计算成本并加速推理。然而，仍有若干挑战阻碍了...
2024-07-19 12:37:40
9
原创 联汇科技OmChat：突破长视频理解极限的多模态大模型
多模态大模型，特别是长视频理解的多模态大模型的一个主要挑战是如何高效管理和利用图像序列和视频帧的超长上下文数据。OmChat 通过多阶段的训练，使得模型支持最长达 512K 词元，表现优于所有其他开源模型。本文对 OmChat 的关键技术，以及数据集的特点进行了总结。论文标题：OmChat: A Recipe to Train Multimodal Language Models with Str...
2024-07-18 12:51:05
458
转载 英伟达又赚到了！FlashAttention3来了：H100利用率飙升至75%
©作者 |陈陈、小舟来源 |机器之心740 TFLOPS！迄今最强 FlashAttention 来了。随着大型语言模型（LLM）加速落地，扩展模型上下文窗口变得越来越重要。然而，Transformer 架构的核心 —— 注意力层的时间复杂度和空间复杂度与输入序列长度的平方成正比。这使得扩展模型上下文窗口存在挑战。2022 年，一种快速、内存高效的注意力算法 ——FlashAttention ...
2024-07-18 12:51:05
39
转载 博士申请 | 香港大学刘希慧老师招收计算机视觉方向全奖博士/博后/实习生等...
合适的工作难找？最新的招聘信息也不知道？AI 求职为大家精选人工智能领域最新鲜的招聘信息，助你先人一步投递，快人一步入职！香港大学香港大学创立于1911年，坐落于繁华的香港岛西部，是香港的首间大学，发展至今，香港大学已成为面向国际的综合性大学，2024年QS全球大学排名第17位。作为久负盛名的大学之一，香港大学在学术研究方面为学生提供了扎实的基础平台和优秀的科研环境。导师简介刘希慧博士是香港大学E...
2024-07-18 12:51:05
33
原创 ECCV 2024 | 提高天花板：动态视角切换下的无冲突局部特征匹配
动机首先，我们将一个特征匹配器的 ground-truth 匹配比喻为它的“天花板”，因为 ground-truth 匹配是匹配器输出结果的理论上界。目前的特征匹配方法着力于提高匹配器建模能力，以使匹配结果逼近 ground-truth 匹配。然而，许多问题从根本上影响着 ground-truth 匹配本身，单纯的提高建模能力并不能解决这些问题。本文从提高天花板的角度出发，希望通过从根本上提高匹配...
2024-07-18 12:51:05
530
转载 北京内推 | 百度文心一言对齐策略算法团队招聘NLP算法实习生
合适的工作难找？最新的招聘信息也不知道？AI 求职为大家精选人工智能领域最新鲜的招聘信息，助你先人一步投递，快人一步入职！百度百度文心（ERNIE）团队致力于预训练大模型基础技术的研究和应用，在预训练大模型领域具备深厚的技术积累。文心ERNIE自2019年诞生至今，在文本、代码、多模态等领域取得多项技术突破，例如ERNIE 1.0/2.0/3.0/3.5/4.0、文心一言(ERNIE-Bot)、E...
2024-07-17 13:06:35
422
转载 ICML 2024 | 具有O(L)训练存储和O(1)推理功耗的时间可逆脉冲神经网络
©PaperWeekly 原创 ·作者 |李国齐课题组单位 |中国科学院自动化研究所研究方向 |类脑计算脉冲神经网络（Spike Neural Network，SNN）因其受大脑启发的神经元动态和基于脉冲的计算模式，被认为是一种低功耗的人工神经网络（Artifical Neural Network，ANN）替代方案。然而受限于 SNN 中的神经元的时空动态特性，SNN 的训练显存开销与运算...
2024-07-17 13:06:35
31
原创 港大联合微信推出DiffMM：扩散模型重塑多模态推荐系统的全新范式
香港大学黄超教授领导的数据智能实验室，与微信研发团队联合开发了一种基于扩散模型的全新多模态推荐系统范式 - DiffMM。这项创新性成果融合了扩散模型技术，能够有效利用多种模态数据，为用户提供个性化、精准的多媒体内容推荐服务。论文标题：DiffMM: Multi-Modal Diffusion Model for Recommendation论文链接：https://arxiv.org/abs/2...
2024-07-17 13:06:35
244
原创 对齐全量微调！这是我看过最精彩的LoRA改进
©PaperWeekly 原创 ·作者 |苏剑林单位 |科学空间研究方向 |NLP、神经网络众所周知，LoRA 是一种常见的参数高效的微调方法，我们在《梯度视角下的LoRA：简介、分析、猜测及推广》做过简单介绍。LoRA 利用低秩分解来降低微调参数量，节省微调显存，同时训练好的权重可以合并到原始权重上，推理架构不需要作出改变，是一种训练和推理都比较友好的微调方案。此外，我们在《配置不同的学...
2024-07-16 23:03:04
693
转载 博士申请 | 密歇根州立大学崔梓筠老师招收2025级深度学习方向全奖博士生
合适的工作难找？最新的招聘信息也不知道？AI 求职为大家精选人工智能领域最新鲜的招聘信息，助你先人一步投递，快人一步入职！Michigan State University密歇根州立大学是一所公立研究型大学，成立于1855年，位于美国密歇根州东兰辛市。2024年版《美国新闻与世界报道》排名将密歇根州立大学置于最佳公立大学并列第28位，全美最佳大学并列第60位。计算机科学与工程系是工程学院最大的学术...
2024-07-16 23:03:04
67
转载 Meta开发System 2蒸馏技术，Llama 2对话模型任务准确率接近100%
©作者 |杜伟来源 |机器之心谈到大语言模型（LLM）的策略，一般来说有两种，一种是即时的 System 1（快速反应），另一种是 System 2（慢速思考）。其中 System 2 推理倾向于深思熟虑的思维，生成中间思维允许模型（或人类）进行推理和规划，以便成功完成任务或响应指令。在 System 2 推理中，需要付出努力的心理活动，尤其是在 System 1（更自动化思维）可能出错的情况...
2024-07-16 23:03:04
32
原创 ECCV 2024 | 模型逆向攻击高性能新范式，人脸隐私安全问题新思考
模型逆向（MI）攻击是一种重构目标模型训练数据的代表性隐私攻击范例，对深度学习模型和数据隐私构成了重大威胁。恶意人士可以通过该手段，窃取用户的私人信息，尤其是面部图像等敏感信息。具体来说，一旦获得目标模型和输出预测的访问权限，攻击者就可以攻击人脸识别系统，重构敏感的人脸图像。我们旨在通过探索模型逆向攻击，揭示在线模型中存在的隐私泄露问题。然而，现有的大多数 MI 方法侧重于寻找 latent co...
2024-07-16 23:03:04
544
转载 单卡A100实现百万token推理！微软提出全新加速预填充稀疏计算方法
©作者 |张倩、陈萍来源 |机器之心大型语言模型 (LLM) 已进入长上下文处理时代，其支持的上下文窗口从先前的 128K 猛增到 10M token 级别。然而，由于注意力机制的二次复杂度，模型处理输入提示（即预填充阶段）并开始产生第一个 token 可能需要几分钟时间。导致首个 token 生成的时间过长，从而严重影响了用户体验，这也极大地限制了长上下文 LLM 的广泛应用。举例来说（如...
2024-07-15 13:53:57
26
转载 上海内推 | 上海人工智能实验室招聘群体智能方向研究型实习生
合适的工作难找？最新的招聘信息也不知道？AI 求职为大家精选人工智能领域最新鲜的招聘信息，助你先人一步投递，快人一步入职！上海人工智能实验室上海人工智能实验室（https://www.shlab.org.cn/）是我国人工智能领域的新型科研机构，是人工智能领域国家战略科技力量的重要组成部分。实验室开展战略性、前瞻性、基础性重大科学问题研究和关键核心技术攻关，凝聚和培养高水平人才，打造“突破型、引领...
2024-07-15 13:53:57
37
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人