- 博客(5382)
- 收藏
- 关注
RSS订阅转载 直播 | 2024 wisemodel社区开发者大会
始智AI wisemodel社区上线1周年！欢迎广大开发者朋友及大模型应用领域朋友等参与wisemodel社区开发者大会，共同庆祝wisemodel社区上线1周年！2024 wisemodel社区开发者大会暨2024年AI开源生态论坛主题：共建开源开放生态，推动智能产业革命活动背景经过一年多的追赶，中国AI大模型技术和产业与美国的差距在不断缩小，以大模型为核心的新一轮技术浪潮正在深刻地改变着产...
2024-09-12 17:03:27
48
转载 【伯克利博士论文】大型语言模型:迈向能够学习和发现一切的机器
来源：专知本文约1000字，建议阅读5分钟在本论文中，我将讨论我在推进这些模型基础上的研究，重点解决从现有数据中学习的瓶颈以及超越现有知识发现的挑战。大型生成模型带来了惊人的成果，并彻底改变了人工智能。在本论文中，我将讨论我在推进这些模型基础上的研究，重点解决从现有数据中学习的瓶颈以及超越现有知识发现的挑战。首先，我将描述我们为消除Transformer架构的上下文大小限制所做的努力。我们的建模...
2024-09-12 17:03:27
74
转载 深入理解GPU内存分配：机器学习工程师的实用指南与实验（附代码）
来源：DeepHub IMBA本文约6200字，建议阅读12分钟本文将帮助你理解GPU内存分配核心概念。给定一个模型架构、数据类型、输入形状和优化器,你能否计算出前向传播和反向传播所需的GPU内存量？要回答这个问题,我们需要将流程分解为基本组件,并从底层理解内存需求。以下实验(可以在Google Colab上运行)将帮助你理解核心概念。预留与分配PyTorch预留了更多内存,但只分配所需的内存...
2024-09-12 17:03:27
126
转载 从节点到知识：PyTorch Geometric的异构消息传递解析
来源：DeepHub IMBA本文约2600字，建议阅读8分钟本文将深入探讨异构GNNs，它们可以处理不同的节点类型及其独特特征。图神经网络(GNNs)是预测复杂系统行为的强大工具：例如社交网络、金融交易，或作者、论文和学术场所之间的联系。虽然许多GNN教程专注于具有单一节点类型的简单图,但现实世界的系统通常更加复杂，需要异构图。本文将深入探讨异构GNNs，它们可以处理不同的节点类型及...
2024-09-12 17:03:27
136
转载 报名 | 2024 wisemodel社区开发者大会
始智AI wisemodel社区上线1周年！欢迎广大开发者朋友及大模型应用领域朋友等参与wisemodel社区开发者大会，共同庆祝wisemodel社区上线1周年！2024 wisemodel社区开发者大会暨2024年AI开源生态论坛主题：共建开源开放生态，推动智能产业革命活动背景经过一年多的追赶，中国AI大模型技术和产业与美国的差距在不断缩小，以大模型为核心的新一轮技术浪潮正在深刻地改变着产...
2024-09-11 17:03:14
39
转载 【KDD2024教程】RAG遇上LLMs：迈向检索增强的大语言模型
来源：专知本文约1000字，建议阅读5分钟在本教程中，我们全面回顾了现有的关于检索增强大型语言模型（RA-LLMs）的研究工作。作为人工智能领域最先进的技术之一，检索增强生成（RAG）技术能够提供可靠且最新的外部知识，为众多任务带来了巨大的便利。特别是在AI生成内容（AIGC）时代，RAG强大的检索能力可以提供额外的知识，帮助现有的生成式AI生成高质量的输出。最近，大型语言模型（LLMs）在语...
2024-09-11 17:03:14
61
转载 共绘校企新蓝图 | 清华&SEI大数据专业实践基地全纪实
导读：为进一步推动产教融合、增强研究生在大数据领域的实践创新能力，清华大学软件学院与中国石化工程建设有限公司（以下简称：SEI）于2024年7月共建了研究生专业实践基地，并成为清华大学在该年度成立的首个研究生专业实践基地。该基地旨在紧密连接大数据领域的研究生教育与行业实际需求，通过强化学生的实践技能和应用能力来促进学术界与产业界的深度融合。校企双方将共同规划和实施一系列实践项目，在这些项目中，既包...
2024-09-11 17:03:14
113
转载 阿里推出AI数据科学家，全流程自动化，科研小白也能用
来源：量子位本文约2900字，建议阅读10分钟基于开源Agent框架，可自动解决复杂数据科学问题的Agent来了！具体来说，Data Science Assistant（以下称DS Assistant）是基于Modelscope-Agent框架开发的数据科学助手。有了它，我们只需给需求，这个助手就能自己跑完探索性数据分析（EDA）、数据预处理、特征工程、模型训练，模型评估等步骤。当然，除了本文...
2024-09-11 17:03:14
148
转载 Mamba模型综述！
来源：算法进阶本文约3000字，建议阅读5分钟本文近期与Mamba相关的研究进行了深入调查。Transformers作为深度学习最具代表性的架构，赋能了众多先进模型，尤其是包含数十亿参数的大型语言模型（LLMs），成为深度学习的基石。尽管取得了令人瞩目的成就，Transformers仍面临固有的局限性，尤其是在推理时，由于注意力计算的平方复杂度，导致推理过程耗时较长。最近，一种名为Mamba的...
2024-09-10 17:02:45
61
转载 含 14 万张图像！华中科技大学发布高质量甲骨文数据集，助力团队摘冠 ACL 最佳论文...
本文约2500字，建议阅读8分钟当 AI 浪潮重塑传统科研，白翔教授为代表的研究学者再度成为了 AI 赋能甲骨文研究的拓荒者、探路者。作者：王鹏杰编辑：十九，李宝珠华中科技大学白翔教授研究团队的王鹏杰等人，提出了高质量的 HUST-OBC 甲骨文数据集，从书籍、网站和现有数据集这 3 种不同的来源来收集，最终数据集包含 1,588 个已破译字符的 77,064 张图像和未破译的 62,989 张...
2024-09-10 17:02:45
76
转载 【斯坦福博士论文】超越最大似然估计：分布感知机器学习
来源：专知本文为论文介绍，建议阅读5分钟在本论文中，我们提出了若干贡献，以提高超越最大似然方法的可操作性。传统的机器学习方法通常依赖于最大似然估计（MLE），因为其实现简单且等价于最小化KL散度。然而，仅通过最大化似然进行训练的模型往往缺乏在实际应用中所期望的某些特性，如不确定性的量化、对分布外输入的鲁棒性，或遵守隐私约束。随着机器学习模型被越来越广泛地部署，这些重要特性变得比以往任何时候都更加...
2024-09-10 17:02:45
269
转载 视觉语言导航：大模型时代的综述
来源：专知本文约3000字，建议阅读5分钟在本综述中，我们提供了一种自上而下的审视方法，采用了一种原则性框架进行具身规划和推理，并强调了利用基础模型应对VLN挑战的当前方法和未来机会。视觉与语言导航（VLN）近年来受到越来越多的关注，许多方法已经涌现出来以推动其发展。基础模型的显著成就已经塑造了VLN研究的挑战和提出的方法。在本综述中，我们提供了一种自上而下的审视方法，采用了一种原则性框架进行...
2024-09-09 17:02:22
179
转载 CNN中的注意力机制综合指南：从理论到Pytorch代码实现
本文约3400字，建议阅读10+分钟本文将全面介绍CNN中的注意力机制，从基本概念到实际实现，为读者提供深入的理解和实践指导。注意力机制已经成为深度学习模型，尤其是卷积神经网络（CNN）中不可或缺的组成部分。通过使模型能够选择性地关注输入数据中最相关的部分，注意力机制显著提升了CNN在图像分类、目标检测和语义分割等复杂任务中的性能。本文将全面介绍CNN中的注意力机制，从基本概念到实际实现，为读者...
2024-09-09 17:02:22
244
转载 AI4Science前沿综述：机器学习应用于计算流体力学最新进展
本文约4400字，建议阅读10+分钟本文为计算流体力学中的前向建模引入了一种新的分类方法。[ 导语 ]近日，来自北京大学、 UCLA、中科院、马里兰大学、斯坦福大学、西湖大学等6个机构的作者合作撰写了一篇关于机器学习在计算流体力学中近期应用的重磅综述。文献首先详细介绍了基础概念、传统方法和基准数据集。在系统地回顾了近五年的论文后，本文为计算流体力学中的前向建模引入了一种新的分类方法：数据驱动的替...
2024-09-09 17:02:22
474
转载 预告 | The Global Data Plane—New Approach of Data Acess
关于我们数据派THU作为数据科学类公众号，背靠清华大学大数据研究中心，分享前沿数据科学与大数据技术创新研究动态、持续传播数据科学知识，努力建设数据人才聚集平台、打造中国大数据最强集团军。新浪微博：@数据派THU微信视频号：数据派THU今日头条：数据派THU...
2024-09-08 17:11:43
44
转载 【KDD2024教程】大语言模型时代下的文本结构化知识自动挖掘
来源：专知本文为论文介绍，建议阅读5分钟在本教程中，我们将介绍使用语言模型进行结构化知识挖掘的最新进展，重点介绍弱监督学习方法。每天都会生成大量的非结构化文本数据，涵盖从新闻文章到科学论文等内容。如何从这些文本数据中挖掘结构化知识依然是一个关键的研究问题。最近，大语言模型（LLMs）凭借其卓越的文本理解能力和指令跟随能力，为文本挖掘领域带来了新的希望。通常有两种利用LLMs的方法：一是通过人工...
2024-09-08 17:11:43
67
转载 KDD 2024 | 检测并优化时序预测中的分布偏移问题
来源：时序人本文约3000字，建议阅读5分钟本文介绍了一种通用的校准方法，用于检测和调整经过训练的模型中的 CDS。近年来，将深度学习模型引入时间序列预测领域取得了显著成功。从数据生成的角度来看，现有模型容易受到时间上下文（无论是否被观测到）驱动的分布偏移的影响。这种由上下文驱动的分布偏移（CDS）会在特定上下文中引入预测偏差，并对传统的训练范式构成挑战。来自浙江大学的研究团队提出了一种通用的...
2024-09-08 17:11:43
147
转载 6种有效的时间序列数据特征工程技术（使用Python）
来源：DeepHub IMBA本文约4500字，建议阅读9分钟在本文将探讨使用日期时间来提取有用信息的各种特征工程技术。在商业分析中，"时间"是一个核心概念。我们基于时间组件来分析销售数据、收入、利润、增长，甚至进行预测。然而，对于初学者来说，这可能是一个复杂的主题。在处理时间敏感的数据集时，需要考虑时间序列数据的多个细微方面。在这个领域，没有放之四海而皆准的方法。我们不必总是强制使用传统的时...
2024-09-08 17:11:43
329
转载 使用 Python TorchRL 进行多代理强化学习（附代码）
来源：DeepHub IMBA本文约2200字，建议阅读5分钟本文将深入探讨如何使用 TorchRL 解决 MARL 问题,重点关注多代理环境中的近端策略优化(PPO)。随着多代理系统的出现,强化学习的复杂性不断增加。为了管理这种复杂性,像 TorchRL 这样的专门工具提供了一个强大的框架,可以开发和实验多代理强化学习(MARL)算法。本文将深入探讨如何使用 TorchRL 解决 MARL ...
2024-09-07 17:00:47
143
转载 深度学习实战：手把手教你构建多任务、多标签模型
来源：DeepHub IMBA本文约5100字，建议阅读10+分钟本文将基于流行的 MovieLens 数据集，使用稀疏特征来创建一个多任务多标签模型，并逐步介绍整个过程。多任务多标签模型是现代机器学习中的基础架构，这个任务在概念上很简单 -训练一个模型同时预测多个任务的多个输出。在本文中，我们将基于流行的 MovieLens 数据集,使用稀疏特征来创建一个多任务多标签模型，并逐步介绍整个过...
2024-09-07 17:00:47
237
转载 【伯克利博士论文】《通过高效和自动化系统赋能大型语言模型》
来源：专知本文为论文介绍，建议阅读5分钟在本论文中，我们专注于构建高效的自动化系统，以降低成本并使大型语言模型的使用更加普及。大型语言模型（LLMs）在聊天、编程和搜索等各种任务中展现了卓越的能力。然而，LLMs的高成本阻碍了这些模型在绝大多数应用中的部署。在本论文中，我们专注于构建高效的自动化系统，以降低成本并使大型语言模型的使用更加普及。首先，我们介绍了一些系统来优化计算效率并减少分布式L...
2024-09-07 17:00:47
246
转载 一键下载Meta最大视频分割数据集！含50.9K真实世界视频，覆盖47个国家
本文约1600字，建议阅读5分钟本文介绍了一键下载Meta最大视频分割数据集！Meta 近日开源了 SAM 2 模型，只需要在视频帧上输入提示（点击、框或掩码），就能精准识别并分割图像或视频中的任何对象，用于训练 SAM 2 的大规模数据集 SA-V 已上线至 HyperAI超神经官网 (hyper.ai)，一键即可下载。2023 年 4 月，Meta 发布 Segment Anything Mo...
2024-09-06 17:04:59
109
转载 【CMU博士论文】图深度学习：应对可扩展性、隐私性和多模态挑战
来源：专知本文为论文介绍，建议阅读5分钟在本论文中，我提出从四个维度使DLG更加实用。图结构无处不在，从电子商务到知识图谱，抽象出个体数据实体之间的交互。运行在图结构数据上的各种实际应用程序需要为图的每个部分——节点、边、子图和整个图——提供有效的表示，以编码其基本特征。近年来，图上的深度学习（Deep Learning on Graphs，DLG）通过学习图表示，在各个领域取得了突破性进展，...
2024-09-06 17:04:59
173
转载 马斯克的「xAI」计划
本文约7700字，建议阅读15分钟双雄理念之争，超越OpenAI，[xAI] 不止是AI。在马斯克的商业帝国中，每一块新增的拼图都不仅仅是战略的延伸，更是对未来的一次大胆延伸与规划。8月14日下午，这个帝国又迎来了一个历史性时刻——xAI 正式发布了新一代的 Grok 2 大模型。在LMSYS的Chatbot Arena上，Grok-2的早期型号sus-column-r在编码、复杂问题和数学上表...
2024-09-06 17:04:59
225
转载 清华大学2024夏季学期《大数据实践课》期末答辩顺利举行
9月2日下午，大数据能力提升项目实践模块必修课——《大数据实践课》期末答辩在六教6A201教室顺利举行。授课教师、软件学院副研究员金涛，中国石化工程建设有限公司数字工程部高级工程师刘洋等8位企业导师，江苏省苏力环境科技有限公司大数据分析部、企业导师赵瀚森作为评审教师出席。《大数据实践》课程分为企业实践和参与竞赛两种实践方式，本次答辩共有25名来自各院系的12组同学参与答辩，其中4组同学参与企业实践...
2024-09-05 17:03:04
93
转载 深度强化学习在水下目标识别中的应用研究∗
来源：专知本文约1000字，建议阅读5分钟文章详细分析了深度强化学习在军事领域的具体应用，重点聚焦于水下目标识别方向，并为实际推进深度强化学习技术在军事领域应用落地所面临的一系列问题和挑战进行了全面评估。深度强化学习的发展标志着人工智能领域的一次革命性进步。它结合了深度学习和强化学习的技术，使智能 体能够在复杂、未知的环境中不断改进和优化自己的行为。论文首先对强化学习及深度强化学习相关的主流算...
2024-09-05 17:03:04
100
转载 高效的时间序列可视化：减少认知负荷获得更清晰的洞察
来源：Deephub Imba本文约3500字，建议阅读5分钟在本文中,我们将探讨使真实世界的疫苗接种数据来可视化单个时间序列和多个时间序列。可视化时间序列数据是具有挑战性,尤其是涉及多个数据集时。精心设计的可视化不仅能清晰地传达信息,还能减少观察者的认知负荷,使其更容易提取有意义的洞察。数据可视化中认知负荷的重要性认知负荷指的是处理信息所需的心理努力量。在数据可视化的背景下,减少认知负荷意味着...
2024-09-05 17:03:04
163
转载 Nature | Prov-GigaPath：数字病理学的全载玻片基础模型
来源：DrugAI本文约3500字，建议阅读7分钟本文为大家介绍的是来自Hoifung Poon团队的一篇论文。今天为大家介绍的是来自Hoifung Poon团队的一篇论文。数字病理学面临着独特的计算挑战，因为标准的千兆像素载玻片可能包含数万个图像切片。现有模型通常会对每张载玻片的部分图像切片进行子采样，因此错过了重要的切片级上下文信息。作者在此介绍Prov-GigaPath，一个在13亿个2...
2024-09-05 17:03:04
191
转载 【ETHZ博士论文】真实世界约束下的2D和3D生成模型
来源：专知本文约1000字，建议阅读5分钟本论文重点解决二维和三维生成模型在真实世界约束下所面临的这些问题。生成建模的最新进展正在改变视觉内容的创作，并在计算机视觉和图形学的多个应用中显示出巨大的前景。然而，生成模型在日常任务中的应用受到生成过程可控性、数据需求和计算要求等挑战的制约。本论文重点解决二维和三维生成模型在真实世界约束下所面临的这些问题。首先，我们致力于通过迁移学习提高类别条件生成...
2024-09-04 17:03:08
52
转载 AI+Science新视野：用物理信息引导AlphaFold 2预测蛋白质动力学
本文约4900字，建议阅读10+分钟尽管当前以AlphaFold为代表的许多AI算法在蛋白质天然态稳定结构预测取得了巨大的进展，但还难以准确捕捉蛋白质的结构变化信息。在生命体系中，蛋白质是执行各种生物功能的主要生物大分子。蛋白质分子和由蛋白质分子组成的复合系统如同宏观世界中不同的机器一样，它们都会发生运动、改变其构象或结构，然后行使复杂的生物功能。理解和预测蛋白质的动力学信息是了解其生物功能以及设...
2024-09-04 17:03:08
126
转载 清华大学大数据能力提升项目培养指导委员会正式成立——产学研深度融合，推动大数据人才培养...
9月3日，大数据能力提升项目（以下简称“项目”）培养指导委员会成立仪式暨教学研讨会在清华大学东主楼10区310会议室成功召开。会上，清华大学软件学院院长、培养指导委员会副主任委员王建民教授首先对与会专家一直以来对项目人才培养工作的关心和支持表示感谢，并宣布项目培养指导委员会正式成立，由中国工程院院士、清华大学软件学院孙家广教授担任荣誉主任、百度集团首席技术官王海峰担任主任委员。培养指导委员会委员...
2024-09-04 17:03:08
142
转载 SAM 2最新应用落地！牛津大学团队发布Medical SAM 2，刷新医学图像分割SOTA榜
本文约4500字，建议阅读5分钟本文介绍了牛津大学团队发布Medical SAM 2，刷新医学图像分割SOTA榜。牛津大学团队开发了名为 Medical SAM 2 (MedSAM-2) 的医学图像分割模型，基于 SAM 2 框架设计，将医学图像视作视频，不仅在 3D 医学图像分割任务上表现卓越，同时还解锁了一种新的单次提示分割的能力。2023 年 4 月，Meta 公司发布了 Segment ...
2024-09-04 17:03:08
179
转载 【伯克利博士论文】高效的自动驾驶3D视觉
来源：专知本文约1200字，建议阅读5分钟在本论文中，我们将介绍针对自动驾驶感知的新方法，并着力解决这四个效率指标。自动驾驶车辆长期以来被视为运输技术的一次巨大飞跃。尽管工业界和学术界都在积极开展开发完全自动驾驶车辆的努力，但迄今为止，没有一个项目能够实现完全自动驾驶的承诺。在构建自动驾驶汽车的自主软件时，感知能力，即车辆感知周围环境的能力，是最突出的挑战之一。为了满足实际部署到自动驾驶车辆上...
2024-09-03 17:41:01
95
转载 KDD 2024 | ShapeFormer：多维时序分类中基于形状的Transformer
来源：时序人本文约3400字，建议阅读5分钟本文介绍了多维时序分类中的Transformer。多变量时间序列分类（MTSC）由于其多样的现实世界应用而引起了广泛的研究关注。最近，利用 Transformer 进行MTSC已经取得了最先进的性能。然而，现有方法主要关注通用特征，提供了对数据的全面理解，但它们忽略了对于学习每个类别代表性特征至关重要的类别特定特征。这导致在数据集不平衡或整体模式相似...
2024-09-03 17:41:01
193
转载 联合Science，面向青年学者，陈天桥推出AI驱动科学研究国际大奖
来源：机器之心本文约1600字，建议阅读9分钟全球 AI 奖项并不少，但是奖励 AI 驱动科学研究的凤毛麟角。近日，天桥脑科学研究院（Tianqiao & Chrissy Chen Institute，简称研究院）与《科学》杂志联合宣布，推出一项 AI 驱动科学大奖，表彰全球范围内用人工智能技术推动各个领域科学研究并取得突破性进展的青年科学家。前中国互联网大佬陈天桥，在脑科...
2024-09-03 17:41:01
247
转载 网络安全国家标准贯标深度行——标准进校园在清华大学成功举办
8月31日，由全国网络安全标准化技术委员会秘书处主办，清华大学和中国电子技术标准化研究院承办的“网络安全国家标准贯标深度行——标准进校园”活动在清华大学FIT楼二层多功能厅顺利举行。中央网络安全和信息化委员会办公室网络安全协调局处长陈吉学，全国网络安全标准化技术委员会秘书长、中国电子技术标准化研究院党委书记杨建军，清华大学软件学院院长王建民，教育部高等学校网络空间安全专业教学指导委员会秘书长封化民...
2024-09-02 17:03:53
70
转载 泊松自助法（Poisson Bootstrap Sampling）：大型数据集上的自助抽样
来源：DeepHub IMBA本文约4500字，建议阅读10+分钟经典自助抽样是一种非常有效的技术，可以用于从收集的样本中学习统计量的分布。自助抽样可以根据收集的样本推断总体的统计特征(如均值、十分位数、置信区间)。泊松自助抽样（Poisson Bootstrap Sampling）是一种用于统计分析中的重采样技术，特别是在机器学习和数据科学中用于模型评估和误差估计。这种方法的一个特点是保留了样...
2024-09-02 17:03:53
145
转载 【伯克利博士论文】《通向开放世界机器人的基础模型路径》
来源：专知本文约3000字，建议阅读5分钟本论文提出了对未来智能机器人的另一种愿景。数据驱动的机器人学在过去十年中是一种非常有效的范式。今天，我们已经能够自主完成一些灵巧的任务，例如折叠衣物、在狭窄的走廊中避免碰撞并导航，以及使用车载传感器控制复杂的动态系统，例如四足机器人在挑战性地形上行走。然而，这些方法通常存在一些基本的局限性，阻碍了它们在开放世界环境中的部署。这些局限性可能是因为它们对环...
2024-09-02 17:03:53
177
转载 小红书推荐系统全解析：去中心化内容分发
来源：NewBeeNLP本文约8400字，建议阅读15分钟本文为你分享小红书在去中心化分发方面的一些工作和对未来的展望。小红书作为在国内因种草而声名大噪的社区，伴随用户规模的扩大，已逐渐发展成为多元化的线上社区。众多用户通过笔记来记录和分享自己的生活方式，当前每日可分发的内容多达数十亿，每日新增发布的内容有数百万之多，涵盖图文与视频等形式，这些我们称之为笔记。目前小红书每日可产生数百亿次的曝光...
2024-09-02 17:03:53
283
转载 【伯克利博士论文】用于决策制定的基础模型：算法、框架与应用
来源：专知本文为论文介绍，建议阅读5分钟本论文表明，基础模型在得到适当利用时，可以显著提高决策任务的效果。AlphaGo和ChatGPT可能是过去十年中人工智能领域最重要的两项突破。这些技术得益于在序列决策（例如，规划、搜索和强化学习）以及基础模型（例如，基于互联网数据训练的语言和视频生成模型）方面的研究。本论文提出了在现实世界决策任务背景下，利用具有广泛知识的基础模型的新技术、算法和框架，这...
2024-09-01 18:02:55
75
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人