- 博客(5411)
- 收藏
- 关注
RSS订阅转载 【ETHZ博士论文】在机器人领域中实现高效、可扩展且精确的体积映射和规划的多分辨率方法...
来源：专知本文约1000字，建议阅读5分钟本博士论文研究了使用自适应表示作为解决这些挑战的方法，重点是增强体积地图的可扩展性、效率和准确性。随着机器人在自主检查、家庭辅助和搜救等更广泛挑战中的应用超越工业环境，人们对其在越来越大、无结构和未知环境中自主导航和执行有意义任务的需求也在增长。尽管硬件、传感和计算技术的改进使机器人具有更强的灵活性和感知能力，但其软件，特别是自主映射和导航能力，仍然是...
2024-08-03 17:02:07
29
转载 舆情反转与贝叶斯网络
本文约2700字，建议阅读5分钟本文借助的数学模型为贝叶斯网络模型。当下的舆情事件很多，很多舆情还会反转，弄得我们哭笑不得，感觉自己像个傻子。下面是一些舆论反转事件（结果来自于360AI搜索）：之前我写过一篇文章从心理学和传播的角度探讨“我们为什么会被愚弄？”，今天我们从技术的角度上尝试分析如何借助数学模型进行舆情反转的预测。贝叶斯网络的结构贝叶斯网络（Bayesian Network，BN）由节...
2024-08-03 17:02:07
45
转载 字符串相似度算法完全指南：编辑、令牌与序列三类算法的全面解析与深入分析...
来源：DeepHub IMBA本文约6000字，建议阅读10+分钟本文深入探讨了三个基本算法类别：基于编辑的算法、基于令牌的算法和基于序列的算法。在自然语言处理领域，人们经常需要比较字符串，这些字符串可能是单词、句子、段落甚至是整个文档。如何快速判断两个单词或句子是否相似，或者相似度是好还是差。这类似于我们使用手机打错一个词，但手机会建议正确的词来修正它，那么这种如何判断字符串相似度呢？本文将...
2024-08-03 17:02:07
53
转载 【ICML2024】SAPG：分裂与聚合策略梯度
来源：专知本文为论文介绍，建议阅读5分钟我们提出了一种新的基于策略的强化学习算法。尽管极度样本效率低下，但基于策略的强化学习（即策略梯度）已成为解决决策问题的基本工具。随着基于GPU的模拟技术的最新进展，收集大量用于强化学习训练的数据的能力呈指数级增长。然而，我们展示了当前的强化学习方法（例如PPO）在并行环境的利用方面存在瓶颈，其性能在达到一定点后会饱和。为了解决这个问题，我们提出了一种新的...
2024-08-02 17:02:54
31
转载 VQ-VAE：矢量量化变分自编码器，离散化特征学习模型（附代码）
来源：DeepHub IMBA本文约1800字，建议阅读5分钟本文将研究概率基础、VAE 架构和 VQ-VAE。VQ-VAE 是变分自编码器（VAE）的一种改进。这些模型可以用来学习有效的表示。本文将深入研究 VQ-VAE，不过，在这之前我们先讨论一些概率基础和 VAE 架构。后验和先验分布证据下界（ELBO）在机器学习模型中，大多数后验分布都相当复杂。我们使用变分推理这一基于优化的方法来近似这...
2024-08-02 17:02:54
48
转载 报名｜清华大学第一届计算政治学讲习班招生简章（免费）
项目简介伴随着数字智能时代来临，人类社会数字化转型正在驱动政治学研究的本体论、方法论和认识论出现范式转换，这为政治学科发展提供了时代机遇。近年来，国家治理数字化转型成为政治学科的新兴议题，大数据、大模型、因果推论等成为政治学研究的前沿方法。在中国政治学会指导下，清华大学、北京大学、复旦大学、中国人民大学、中国社会科学院大学、上海交通大学、南开大学、天津师范大学（排名不分先后）等八所高校联合发起“计...
2024-08-02 17:02:54
61
转载 Graph图Transformer前沿进展研究！
来源：算法进阶本文约4500字，建议阅读9分钟本文介绍了图Transformer是一类新颖且强大的神经网络模型，能够有效地编码和处理图结构数据。图神经网络Transformers是一项机器学习的最新进展，提供了一类用于图结构数据的新型神经网络模型。Transformers与图学习的结合在各种图相关任务中表现出强大的性能和多功能性。本综述对图Transformers研究的最新进...
2024-08-02 17:02:54
68
转载 【博士论文】通过利用内在方法解释深度神经网络
来源：专知本文为论文介绍，建议阅读5分钟本论文通过提出内在技术来提高深度神经网络的可解释性，为日益发展的可解释人工智能领域做出了贡献。深度神经网络在过去十年里推动了人工智能的发展，彻底改变了游戏、生物学、自动系统以及语音和文本助手等领域。尽管其影响深远，但由于其复杂的结构和缺乏对决策过程的解释，这些网络往往被视为黑箱模型。这种不透明性对人工智能系统的广泛应用和可信度构成了重大挑战。本论文通过贡...
2024-08-01 17:03:38
42
转载 入选ICML！人大团队将等变图神经网络用于靶蛋白结合位点预测，性能最高提升20%...
本文约3800字，建议阅读5分钟中国人民大学高瓴人工智能学院的研究团队首次将 E(3) 等变图神经网络 (GNN) 应用于配体结合位点预测，提出名为 EquiPocket 的框架，有助于药物发现等各种下游任务。生命系统中，几乎所有生物和药理过程都涉及受体（靶蛋白）和配体（小分子）之间的相互作用，这些相互作用发生在靶蛋白结构的特定区域，称为「结合位点」——预测靶蛋白的结合位点在药物发现等各种下游任...
2024-08-01 17:03:38
66
转载 清华大学最新深度时序模型综述+5k star开源代码！
本文约1500字，建议阅读9分钟本文给大家介绍清华大学关于深度时序模型的最新综述性工作。这篇文章的着眼点是深度时间序列模型的模型结构方面，提供了各类时间序列问题的深度学习模型结构发展过程和效果对比，并提供了一套复现各类深度时序模型的开源代码，目前git上已经5k+个star。下面整体介绍一下本文的核心内容，包括任务类型、基础模块、模型结构、Benchmark、实验评估等5个部分。其中，开源代码...
2024-08-01 17:03:38
121
转载 【CMU博士论文】面向更强大的图表示学习
来源：专知本文为论文介绍，建议阅读5分钟本论文研究了节点级和图级表示，并提出了实现更强大表示学习的解决方案，目标是实现图上的基础模型。图在现实世界中被广泛用于表示关系，许多数据自然地表示为图，如社交网络、蛋白质结构、分子和交易。与有特定自然顺序的图像和文本不同，图是无序且置换不变的，这为学习良好的表示带来了显著的困难。图神经网络（GNNs）被提出并不断改进以用于图表示学习。本论文研究了节点级和...
2024-07-31 17:02:09
37
转载 生成394,760种蛋白质表征，哈佛团队开发AI模型，全面理解蛋白质上下文
来源：专知本文约2000字，建议阅读5分钟PINNACLE 使用一系列针对每个特定节点和边缘类型量身定制的注意力机制在蛋白质、细胞类型和组织之间传播图神经网络信息。了解蛋白质功能和开发分子疗法，需要破译蛋白质发挥作用的细胞类型，解析蛋白质之间的相互作用。然而，对跨生物背景蛋白质相互作用进行建模对于现有算法来说仍然具有挑战性。在最新的研究中，哈佛医学院的研究人员开发了 PINNACLE，这是一种...
2024-07-31 17:02:09
45
转载 ICML 2024 | 具有O(L)训练存储和O(1)推理功耗的时间可逆脉冲神经网络
来源：PaperWeekly本文约3200字，建议阅读6分钟本文提出一种时间可逆计算范式，并基于此开发了 T-RevSNN 模型。脉冲神经网络（Spike Neural Network，SNN）因其受大脑启发的神经元动态和基于脉冲的计算模式，被认为是一种低功耗的人工神经网络（Artifical Neural Network，ANN）替代方案。然而受限于 SNN 中的神经元的时空动态特性，SNN ...
2024-07-31 17:02:09
46
转载 ML如何推动结构生物学的发展？哈佛科学家用AI在最小尺度上研究人类发育
来源：ScienceAI本文约3000字，建议阅读5分钟在本论文中，我们旨在通过关注多模态智能的三个关键维度来推动该领域的发展：多模态对齐性、鲁棒性和泛化性。对于结构生物学家 Lucas Farnung 来说，没有比单个受精卵如何发育成一个功能齐全的人类更令人着迷的问题了。他正努力在最小尺度上研究这一过程：数万亿个原子必须同步工作才能实现这一过程。「我看不出解决 5,000 块拼图和我们在实验室...
2024-07-30 17:01:47
30
转载 大模型的模型压缩与有效推理综述
本文约12000字，建议阅读20+分钟本文对大型语言模型的压缩和效率推理进行了综述。1 介绍本文对大型语言模型的压缩和效率推理进行了综述。大型语言模型基于Transformer架构，具有强大的性能，但也带来了巨大的内存和计算成本。本文从算法角度对大型语言模型的压缩和效率推理方法进行了分类，包括量化、剪枝、知识蒸馏、紧凑架构设计和动态网络。大型语言模型有两个显著特点：（1）大多数压缩算法需要在压...
2024-07-30 17:01:47
67
转载 赠票｜清华大学电子系第二届城市科学大会即将开启！
文中有数据派THU福利哦数据派THU独家福利！点点为数据派THU的粉丝们争取了4张赠票福利！欢迎小伙伴儿在下方留言，我们将分别为“普通注册”和“学生注册”点赞数最高（截至2024年8月1日中午12时）的前2位读者免费送上赠票~小编会联系你们哦！（留言请备注“普通注册”或“学生注册”）关于我们数据派THU作为数据科学类公众号，背靠清华大学大数据研究中心，分享前沿数据科学与大数据技术创新研究动态、持续...
2024-07-30 17:01:47
68
转载 不是取代，而是共生！气象科学的未来需要AI与数值预报的有机结合
本文约5300字，建议阅读10+分钟唯有新旧方法相辅相成，才有望在未知挑战中，孵化、衍生出一种更可信更高效的复合方法。数值天气预报和 AI 气象预报存在天然的耦合关系，数值预报可以通过物理数学理论提供可解释的预报结果，AI 气象大模型则能够利用知识经验提高预报计算速度和精度，两者互补才是未来气象预报发展的最有效途径。2022 年常被业内人士视为 AI 赋能气象预测的元年。从这一年开始，AI 在气...
2024-07-30 17:01:47
75
转载 PyTorch中的多进程并行处理
来源：DeepHub IMBA本文约2000字，建议阅读9分钟理解和利用多处理技术对于优化PyTorch中的性能都是必不可少的。PyTorch是一个流行的深度学习框架，一般情况下使用单个GPU进行计算时是十分方便的。但是当涉及到处理大规模数据和并行处理时，需要利用多个GPU。这时PyTorch就显得不那么方便，所以这篇文章我们将介绍如何利用torch.multiprocessing模块，在Py...
2024-07-29 17:01:37
41
转载 【ECCV2024】边缘感知Transformer的场景文本分割
来源：专知本文约1000字，建议阅读5分钟本文提出了边缘感知Transformer（EAFormer），以更精确地分割文本，特别是文本边缘。场景文本分割旨在从场景图像中裁剪文本，通常用于帮助生成模型编辑或删除文本。现有的文本分割方法往往涉及各种与文本相关的监督以提高性能。然而，大多数方法忽略了文本边缘的重要性，而文本边缘对下游应用具有重要意义。本文提出了边缘感知Transformer（EAFo...
2024-07-29 17:01:37
56
转载 独家 | 你需要在2024年学习人工智能！（附学习计划）
作者：KayDee翻译：曹世腾校对：陈超本文约3100字，建议阅读10分钟避免掉队的唯一办法就是现在行动起来，掌握AI和机器学习的基础知识。图片来自Maximalfocus,Unsplash首先，让我先快速讲一个故事。上周，我和我的朋友Raj在我们最喜欢的咖啡馆The Brewing Grounds喝着微凉的拿铁聊天。Raj是硅谷一家高端AI初创公司的软件工程师。他的工作靠着开发聊天机...
2024-07-29 17:01:37
73
转载 Pytorch的编译新特性TorchDynamo的工作原理和使用示例
来源：DeepHub IMBA本文约4900字，建议阅读10+分钟无论是在高性能gpu或边缘设备上运行，TorchDynamo适应提供最佳性能。在深度学习中，优化模型性能至关重要，特别是对于需要快速执行和实时推断的应用。而PyTorch在平衡动态图执行与高性能方面常常面临挑战。传统的PyTorch优化技术在处理动态计算图时效果有限，导致训练时间延长和模型性能不佳。TorchDynamo是一种为P...
2024-07-28 17:01:55
54
转载 港大联合微信推出DiffMM：扩散模型重塑多模态推荐系统的全新范式
本文约6000字，建议阅读12分钟本文介绍了一种新颖的多模态推荐模型DiffMM。香港大学黄超教授领导的数据智能实验室，与微信研发团队联合开发了一种基于扩散模型的全新多模态推荐系统范式 - DiffMM。这项创新性成果融合了扩散模型技术，能够有效利用多种模态数据，为用户提供个性化、精准的多媒体内容推荐服务。论文标题：DiffMM: Multi-Modal Diffusion Model for R...
2024-07-28 17:01:55
59
转载 【ICML2024】深度强化学习中的随机潜在探索
来源：专知本文为论文介绍，建议阅读5分钟本文介绍了一种名为随机潜在探索（Random Latent Exploration，RLE）的新探索技术。高效探索高维状态空间的能力对于深度强化学习（RL）的实际成功至关重要。本文介绍了一种名为随机潜在探索（Random Latent Exploration，RLE）的新探索技术，该技术结合了奖励加成和噪声加成（两种深度RL中有效探索的流行方法）的优势。R...
2024-07-28 17:01:55
74
转载 【阿姆斯特丹博士论文】以实体为中心的神经模型用于自然语言处理
来源：专知本文约3000字，建议阅读5分钟这篇论文探讨了如何通过将实体信息纳入神经网络模型来增强自然语言理解。这篇论文探讨了如何通过将实体信息纳入神经网络模型来增强自然语言理解。它解决了三个关键问题：利用实体进行理解任务：本文引入了Entity-GCN模型，该模型在一个图上执行多步推理，其中节点代表实体提及，边代表关系。这种方法在一个多文档问答数据集上取得了最先进的结果。使用大型语言模型识别和...
2024-07-27 17:00:50
35
转载 统计学入门：时间序列分析基础知识详解
来源：Deephub Imba本文约5000字，建议阅读8分钟本文介绍了一种新颖的多模态推荐模型DiffMM。时间序列分析中包含了许多复杂的数学公式，它们往往难以留存于记忆之中。为了更好地掌握这些内容，本文将整理并总结时间序列分析中的一些核心概念，如自协方差、自相关和平稳性等，并通过Python实现和图形化展示这些概念，使其更加直观易懂。希望通过这篇文章帮助大家更清楚地理解时间序列分析的基础框架...
2024-07-27 17:00:50
50
转载 充分利用视觉信息多问多答合成数据，提升多模态大模型数学推理能力
本文约2000字，建议阅读9分钟本文讲述了随着多模态大模型的发展，模型能够处理视觉语言输入进行多模态数学推理等现象。论文题目：Math-LLaVA: Bootstrapping Mathematical Reasoning for Multimodal Large Language Models论文链接：https://arxiv.org/abs/2406.17294开源链接：https://gi...
2024-07-27 17:00:50
86
转载 多模态可控扩散模型综述
来源：专知本文约1500字，建议阅读5分钟本综述提供了一个全面的分类框架，总结了扩散模型图像合成中各种形式的控制技术和策略，并探讨了可控生成在不同应用场景中的实践。研究背景近年来，人工智能领域经历了跨越式发展，其中生成模型在计算机视觉、自然语言处理和强化学习等多个领域取得了长足进步。生成对抗网络（GANs）、变分自编码器(VAEs)和归一化流等传统方法曾长期占据主导地位，但近期扩散模型（Di...
2024-07-26 17:05:52
54
转载 独家 | 线性代数：每个数据科学家的必知概念（下）
作者：Benedict Neo翻译：陈之炎校对：ZRX本文约2900字，建议阅读8分钟本文将探讨上述线性代数概念、视觉解释和代码示例。本文（上篇）目录向量单位向量向量操作向量相加标量相乘点积向量空间零空间（核）张成空间基线性独立本文（下篇）目录矩阵矩阵作为函数线性变换逆矩阵奇异矩阵单位矩阵对角矩阵正交矩阵矩阵乘法迹决定值秩特征向量和特征值矩阵矩阵是按行和列组织输入和操作方式。图片由作...
2024-07-26 17:05:52
64
转载 彻底改变语言模型：全新架构TTT超越Transformer，ML模型代替RNN隐藏状态
来源：机器之心本文约3200字，建议阅读5分钟本文介绍了一种全新的大语言模型（LLM）架构有望代替至今在 AI 领域如日中天的 Transformer。从 125M 到 1.3B 的大模型，性能都有提升。难以置信，这件事终于发生了。一种全新的大语言模型（LLM）架构有望代替至今在 AI 领域如日中天的 Transformer，性能也比 Mamba 更好。本周一，有关 Test-Time Tr...
2024-07-26 17:05:52
119
转载 快讯 | 2024中国高校计算机大赛——大数据挑战赛晋级复赛队伍揭晓
7月25日，经过初赛阶段的激烈角逐，2024中国高校计算机大赛——大数据挑战赛进入复赛的参赛队伍名单已经出炉。本次大赛旨在通过算法比拼激发数据处理与分析的新思路，探索气象大数据的奥秘，促进大数据技术的创新与应用。大赛吸引了来自全国各地的高校学生和企业在职人员的积极参与，共有386所高校的1777支队伍争夺晋级名额。恭喜以下队伍成功晋级复赛根据7月23日23:00测评系统的自动评测得分排名成绩，共有...
2024-07-26 17:05:52
138
转载 【阿姆斯特丹博士论文】深度学习在医疗数据中的应用
来源：专知本文为论文介绍，建议阅读5分钟这篇论文重新审视了深度学习的基本组成部分，并评估了它们在医学图像分析中的应用。这篇论文重新审视了深度学习的基本组成部分，并评估了它们在医学图像分析中的应用。论文指出了深度学习在这一领域的三个主要挑战：专家知识的整合、未标记数据的利用以及预测不确定性的估计。论文结构分为几部分，分别解决这些挑战。第一部分在第一部分中，论文介绍了一种通过旋转反射等变性（rot...
2024-07-25 17:01:47
44
转载 谷歌重磅：告别RAG，长上下文的大语言模型无需检索增强
来源：夕小瑶科技说机器学习算法与自然语言处理本文约2600字，建议阅读10分钟长上下文语言模型通过LOFT基准测试，展现出无需检索增强（RAG）的强大能力。当今人工智能领域正在经历一场静默的革命。随着大语言模型(LLM)的快速发展，它们不仅能够处理更长的上下文，还展现出惊人的推理和检索能力。难道我们要告别基于LLM的检索增强生成(RAG)了吗？结果还真是这样，最近谷歌发布专门用于评估长上下文语...
2024-07-25 17:01:47
64
转载 独家 | 线性代数：每个数据科学家的必知概念（上）
作者：Benedict Neo翻译：陈之炎校对：ZRX本文约2500字，建议阅读8分钟本文将探讨上述线性代数概念、视觉解释和代码示例。你对线性代数有足够的了解吗？线性代数是所有数据科学和机器学习任务的基石，它是将理论模型转化为实际解决方案的语言，它体现了能够利用算法从数据中学习的准则。xkcd线性代数可用于：1. 数据表示：用一种结构化的方式来组织和操作数据，将复杂数据集表示为矩阵2...
2024-07-25 17:01:47
72
转载 【SIGIR2024教程】基于大语言模型的信息检索代理
来源：专知本文为论文介绍，建议阅读5分钟在本教程中，我们将深入探讨LLM驱动代理在各种信息检索领域中的前沿技术。信息检索的核心目标已不仅仅是将用户与其搜索的相关信息连接起来，还包括丰富连接的多样性、个性化和互动性，确保信息检索过程在全球数字时代中尽可能无缝、有效和支持性。目前的信息检索系统通常面临一些挑战，例如对查询理解的限制、响应的静态和僵化、个性化程度有限以及互动性受限。随着大语言模型（LL...
2024-07-24 17:02:17
44
转载 效率高，无需标签，谷歌团队用AI挖掘临床数据，改善基因发现和疾病预测，登Nature子刊...
来源：ScienceAI本文约2500字，建议阅读5分钟近日，Google Research 的基因组学团队在利用 HDCD 表征疾病和生物学特征方面取得了进展。现代医疗保健系统会产生大量高维临床数据 (HDCD)，例如肺功能图、光体积变化描记图法 (PPG)、心电图 (ECG) 记录、CT 扫描和 MRI 成像，这些数据无法用单个二进制或连续数字来概括。了解我们的基因组与 HDCD 之间的联...
2024-07-24 17:02:17
44
转载 年薪五十万起，大模型公司偏爱哪种毕业生 | AI光年
来源：深网ID：qqshenwang本文约4500字，建议阅读5分钟本文介绍了年薪50万大模型公司偏爱的毕业生。图片来源：视觉中国特约作者丨郑佳妮 编辑丨叶锦言出品丨深网·腾讯新闻小满工作室编者按：自从OpenAI打开了生成式AI的潘多拉魔盒，大模型依然是2024年最炙手可热的风口，硅谷作为技术发源地，人才蜂拥。任何优秀的组织，一定都是找到了一种方法和对应的工具，...
2024-07-24 17:02:17
91
转载 大脑如何处理语言？普林斯顿团队对Transformer模型进行分析
来源：专知本文约1700字，建议阅读5分钟研究证明，由各个功能专门化的「注意力头」执行的紧急计算，会以不同的方式预测特定皮层区域的大脑活动。这些注意力头沿着与低维皮层空间中的不同层和上下文长度相对应的梯度下降。在处理语言时，大脑会部署专门的计算来从复杂的语言结构中构建含义。基于 Transformer 架构的人工神经网络是自然语言处理的重要工具。普林斯顿大学的研究人员探讨了 Transform...
2024-07-23 17:01:40
31
转载 ECCV 2024 | VideoMamba: 用于高效视频理解的状态空间模型
来源：PaperWeekly本文约2300字，建议阅读9分钟我们希望它可以为未来长视频的表征学习指明道路。一、介绍我们提出了一个仅基于状态空间模型(SSM) 的高效视频理解架构 VideoMamba，并通过大量的实验证明了它具备一系列良好的特性，包括 1）Visual Domain Scalability；2）Short-term Action Sensitivity；3）Long-term ...
2024-07-23 17:01:40
62
转载 【KDD2024】基础模型在AI加速器上的推理优化
来源：专知本文为论文介绍，建议阅读5分钟我们的教程提供了关于使用AI加速器进行推理优化的全面讨论。强大的基础模型，包括具有Transformer架构的大型语言模型（LLMs），在各个行业引领了生成式人工智能的新纪元。基础模型的出现催生了大量新应用，这些应用涵盖了问答系统、客户服务、图像和视频生成以及代码补全等多个领域。然而，当模型参数数量达到数千亿时，在现实场景中的部署会带来高昂的推理成本和高...
2024-07-23 17:01:40
62
转载 Lookback Lens：用注意力图检测和减轻llm的幻觉
来源：DeepHub IMBA本文约2000字，建议阅读5分钟本文提出了一个简单的幻觉检测模型。在总结文章或回答给定段落的问题时，大语言模型可能会产生幻觉，并会根据给定的上下文回答不准确或未经证实的细节，这也被称为情境幻觉。为了解决这个问题，这篇论文的作者提出了一个简单的幻觉检测模型，其输入特征由上下文的注意力权重与新生成的令牌(每个注意头)的比例给出。它被称为回看或基于回看比率的检测器。该方...
2024-07-22 17:02:11
35
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人