- 博客(5226)
- 收藏
- 关注
RSS订阅转载 【阿姆斯特丹博士论文】深度学习在医疗数据中的应用
来源：专知本文为论文介绍，建议阅读5分钟这篇论文重新审视了深度学习的基本组成部分，并评估了它们在医学图像分析中的应用。这篇论文重新审视了深度学习的基本组成部分，并评估了它们在医学图像分析中的应用。论文指出了深度学习在这一领域的三个主要挑战：专家知识的整合、未标记数据的利用以及预测不确定性的估计。论文结构分为几部分，分别解决这些挑战。第一部分在第一部分中，论文介绍了一种通过旋转反射等变性（rot...
2024-07-25 17:01:47
9
转载 谷歌重磅：告别RAG，长上下文的大语言模型无需检索增强
来源：夕小瑶科技说机器学习算法与自然语言处理本文约2600字，建议阅读10分钟长上下文语言模型通过LOFT基准测试，展现出无需检索增强（RAG）的强大能力。当今人工智能领域正在经历一场静默的革命。随着大语言模型(LLM)的快速发展，它们不仅能够处理更长的上下文，还展现出惊人的推理和检索能力。难道我们要告别基于LLM的检索增强生成(RAG)了吗？结果还真是这样，最近谷歌发布专门用于评估长上下文语...
2024-07-25 17:01:47
15
转载 年薪五十万起，大模型公司偏爱哪种毕业生 | AI光年
来源：深网ID：qqshenwang本文约4500字，建议阅读5分钟本文介绍了年薪50万大模型公司偏爱的毕业生。图片来源：视觉中国特约作者丨郑佳妮 编辑丨叶锦言出品丨深网·腾讯新闻小满工作室编者按：自从OpenAI打开了生成式AI的潘多拉魔盒，大模型依然是2024年最炙手可热的风口，硅谷作为技术发源地，人才蜂拥。任何优秀的组织，一定都是找到了一种方法和对应的工具，...
2024-07-24 17:02:17
11
转载 【SIGIR2024教程】基于大语言模型的信息检索代理
来源：专知本文为论文介绍，建议阅读5分钟在本教程中，我们将深入探讨LLM驱动代理在各种信息检索领域中的前沿技术。信息检索的核心目标已不仅仅是将用户与其搜索的相关信息连接起来，还包括丰富连接的多样性、个性化和互动性，确保信息检索过程在全球数字时代中尽可能无缝、有效和支持性。目前的信息检索系统通常面临一些挑战，例如对查询理解的限制、响应的静态和僵化、个性化程度有限以及互动性受限。随着大语言模型（LL...
2024-07-24 17:02:17
14
转载 效率高，无需标签，谷歌团队用AI挖掘临床数据，改善基因发现和疾病预测，登Nature子刊...
来源：ScienceAI本文约2500字，建议阅读5分钟近日，Google Research 的基因组学团队在利用 HDCD 表征疾病和生物学特征方面取得了进展。现代医疗保健系统会产生大量高维临床数据 (HDCD)，例如肺功能图、光体积变化描记图法 (PPG)、心电图 (ECG) 记录、CT 扫描和 MRI 成像，这些数据无法用单个二进制或连续数字来概括。了解我们的基因组与 HDCD 之间的联...
2024-07-24 17:02:17
20
转载 ECCV 2024 | VideoMamba: 用于高效视频理解的状态空间模型
来源：PaperWeekly本文约2300字，建议阅读9分钟我们希望它可以为未来长视频的表征学习指明道路。一、介绍我们提出了一个仅基于状态空间模型(SSM) 的高效视频理解架构 VideoMamba，并通过大量的实验证明了它具备一系列良好的特性，包括 1）Visual Domain Scalability；2）Short-term Action Sensitivity；3）Long-term ...
2024-07-23 17:01:40
12
转载 大脑如何处理语言？普林斯顿团队对Transformer模型进行分析
来源：专知本文约1700字，建议阅读5分钟研究证明，由各个功能专门化的「注意力头」执行的紧急计算，会以不同的方式预测特定皮层区域的大脑活动。这些注意力头沿着与低维皮层空间中的不同层和上下文长度相对应的梯度下降。在处理语言时，大脑会部署专门的计算来从复杂的语言结构中构建含义。基于 Transformer 架构的人工神经网络是自然语言处理的重要工具。普林斯顿大学的研究人员探讨了 Transform...
2024-07-23 17:01:40
13
转载 【KDD2024】基础模型在AI加速器上的推理优化
来源：专知本文为论文介绍，建议阅读5分钟我们的教程提供了关于使用AI加速器进行推理优化的全面讨论。强大的基础模型，包括具有Transformer架构的大型语言模型（LLMs），在各个行业引领了生成式人工智能的新纪元。基础模型的出现催生了大量新应用，这些应用涵盖了问答系统、客户服务、图像和视频生成以及代码补全等多个领域。然而，当模型参数数量达到数千亿时，在现实场景中的部署会带来高昂的推理成本和高...
2024-07-23 17:01:40
15
转载 Lookback Lens：用注意力图检测和减轻llm的幻觉
来源：DeepHub IMBA本文约2000字，建议阅读5分钟本文提出了一个简单的幻觉检测模型。在总结文章或回答给定段落的问题时，大语言模型可能会产生幻觉，并会根据给定的上下文回答不准确或未经证实的细节，这也被称为情境幻觉。为了解决这个问题，这篇论文的作者提出了一个简单的幻觉检测模型，其输入特征由上下文的注意力权重与新生成的令牌(每个注意头)的比例给出。它被称为回看或基于回看比率的检测器。该方...
2024-07-22 17:02:11
20
转载 清华类脑计算模型登Nature子刊，受大脑启发的人工树突网络，实现高能效AI
来源：专知本文约2800字，建议阅读5分钟在本论文中，我们旨在通过关注多模态智能的三个关键维度来推动该领域的发展：多模态对齐性、鲁棒性和泛化性。近期，清华大学类脑计算研究中心施路平团队，研发出全球首款类脑互补视觉芯片「天眸芯」，研究成果登上 Nature 封面。近日，该团队推出一种新的神经形态计算架构，即类脑神经计算模型「Dendristor」。「Dendristor」旨在复制突触的组织（即神...
2024-07-22 17:02:11
22
转载 深度学习时间序列异常检测方法
本文约10000字，建议阅读15+分钟本文全面概述了深度学习用于时间序列异常检测的最新架构。本文全面概述了深度学习用于时间序列异常检测的最新架构，提供了基于策略和模型的方法，并讨论了各种技术的优点和局限性。此外，还举例说明了近年来深度学习在时间序列异常检测中各领域的应用。1 背景时间序列是一系列按照时间顺序依次索引的数据点。最常见的时间序列形式是按时间记录的观察序列。时间序列通常分为单变量（一...
2024-07-22 17:02:11
32
转载 大神卡帕西强烈推荐：通过做项目来学习，坚持“1万小时定律”
来源：量子位本文约4300字，建议阅读9分钟本文介绍了大神Andrej Karpathy在伯克利黑客马拉松上的演讲再引热议。现场掌声雷动！大神Andrej Karpathy在伯克利黑客马拉松上的演讲再引热议。我们似乎正步入一个全新的计算范式，类似于计算机技术在1980年代的转型。我们正...
2024-07-21 17:00:31
17
转载 神经网络替代密度泛函理论！清华研究组发布通用材料模型 DeepH，实现超精准预测...
本文约4000字，建议阅读8分钟平均绝对误差仅 2.2 meV。清华大学研究人员利用原创的深度学习密度泛函理论哈密顿量 (DeepH) 方法，发展出 DeepH 通用材料模型，并展示了一种构建「材料大模型」的可行方案，这一突破性进展为创新材料发现提供了新机遇。在材料设计中，了解其电子结构与性质是预测材料性能、发现新材料、优化材料性能的关键。过去，业界广泛使用密度泛函理论 (DFT) 来研究材料电...
2024-07-21 17:00:31
25
转载 WWW 2024 | 华为、清华提出个性化多模态生成新方法，让AIGC更懂你
本文约3000字，建议阅读6分钟来自华为和清华的研究者率让多模态生成的内容个性化。Stable Diffusion、Midjourney 和 Sora 等文生图/视频模型获得惊人的效果，但他们对于不同的人生成的结果都一样，不具备个性化。下面这篇论文中，来自华为和清华的研究者率先让多模态生成的内容个性化，使生成的内容更懂用户，更具吸引力。论文标题：PMG: Personalized Multimod...
2024-07-20 17:00:21
22
转载 AI从业者怎么做Science？清华大学AIR周浩：从文本生成到蛋白质设计的跨界探索...
本文约3000字，建议阅读6分钟本文介绍了AI 人做蛋白质设计遇到的多重挑战，并从数据结构、生成算法、预训练 3 个方面讲述了目前蛋白质领域的前沿研究。清华大学智能产业研究院副研究员周浩在智源大会上，以计算机从业者的身份，向大家分享了 AI 人做蛋白质设计遇到的多重挑战，并从数据结构、生成算法、预训练 3 个方面讲述了目前蛋白质领域的前沿研究。近日，北京智源大会「AI for Science」分...
2024-07-20 17:00:21
25
转载 【KDD2024】大规模层次化工业需求时间序列预测中的稀疏性整合
来源：专知本文为论文介绍，建议阅读5分钟我们通过提出HAILS（层次化自适应稀疏时间序列模型）解决了这两个挑战。层次化时间序列预测（HTSF）在许多现实世界的商业应用中是一个重要问题，其目标是同时预测通过层次关系相互关联的多个时间序列。然而，近期的研究未能解决大型企业需求预测应用中通常出现的两个重要挑战。首先，层次结构较低级别的许多时间序列具有高度稀疏性，即存在大量零值。大多数HTSF方法没有...
2024-07-20 17:00:21
30
转载 使用深度强化学习预测股票：DQN 、Double DQN和Dueling Double DQN对比和代码示例
来源：Deephub Imba本文约10000字，建议阅读10分钟本文介绍了使用深度强化学习预测股票。深度强化学习可以将深度学习与强化学习相结合：深度学习擅长从原始数据中学习复杂的表示，强化学习则使代理能够通过反复试验在给定环境中学习最佳动作。通过DRL，研究人员和投资者可以开发能够分析历史数据的模型，理解复杂的市场动态，并对股票购买、销售或持有做出明智的决策。下面我们一边写代码一边介绍这些相...
2024-07-19 17:03:09
22
转载 赠书 | 清华汪玉教授团队：首部高效模型压缩与设计专著重磅上市
文中有数据派THU福利哦汪玉 宁雪妃 著电子工业出版社-博文视点2024-07-019787121480591 定价: 119.00 元新书推荐｜关于本书｜本书系统地介绍了高效模型压缩和模型设计的方法，在编写上兼顾理论和实践。本书主体部分详细介绍了模型压缩的方法论，包括高效模块设计、模型剪枝、模型量化、模型二值化、神经网络架构搜索、知识蒸馏几大部分。另外，简要介绍了定制化硬件加速器的设计及大语言...
2024-07-19 17:03:09
26
转载 深入解析高斯过程：数学理论、重要概念和直观可视化全解
来源：Deephub Imba本文约3000字，建议阅读9分钟本文详细介绍了高斯过程。并可视化和Python实现来解释高斯过程的数学理论。与其他算法相比，高斯过程不那么流行，但是如果你只有少量的数据，那么可以首先高斯过程。在这篇文章中，我将详细介绍高斯过程。并可视化和Python实现来解释高斯过程的数学理论。多元高斯分布多元高斯分布是理解高斯过程所必须的概念之一。让我们快速回顾一下。如果你已经熟...
2024-07-19 17:03:09
26
转载 生成式 AI 在医疗保健中的前沿应用及其挑战
来源：ScienceAI本文为论文介绍，建议阅读5分钟将人工智能融入医疗保健不仅是一种进化，而且是一场革命，有望显著提高患者护理、运营效率和医学研究。在短短时间内，人工智能在医疗保健领域的应用已经充分展示了其巨大的潜力和可行性。大语言模型（LLM）可以提供肿瘤诊断，提供睡眠和健身建议，扫描医疗图像、分析核磁共振成像、X 射线和组织样本。然而，尽管如此，在输出准确性、透明度、整合、数据隐私、道德...
2024-07-19 17:03:09
29
转载 登 Cell 子刊！清华大学张强锋课题组开发 SPACE 算法，组织模块发现能力领先同类工具...
本文约5200字，建议阅读10分钟本文介绍了清华大学课题组新开发的算法。清华大学生命科学学院/结构生物学高精尖创新中心/清华-北大生命科学联合中心张强锋副教授课题组开发了基于图自编码器深度学习框架的人工智能算法 SPACE。多细胞生物中的细胞尽管共享相同的基因组，但因其内部基因调控网络的差异以及与周围微环境中相邻细胞的外部信号交流，使得它们在形态、基因表达和功能上展现出显著的多样性...
2024-07-18 17:03:44
15
转载 【斯坦福博士论文】隐私数据实用分析
来源：专知本文为论文介绍，建议阅读5分钟本研究以差分隐私这一强有力的隐私标准为基础，旨在克服隐私保护技术在实际数据分析中的广泛应用障碍。基于差分隐私框架的研究，旨在克服隐私保护技术在实际数据分析中的广泛应用障碍。本研究以差分隐私这一强有力的隐私标准为基础，旨在克服隐私保护技术在实际数据分析中的广泛应用障碍。我们在以下三个关键领域做出了贡献：私密置信区间、重频项检测和插值域中的私密优化。每个领域都...
2024-07-18 17:03:44
17
转载 快讯｜大数据挑战赛周周星评选获奖队伍公布，附赛事经验分享！（第三周）...
2024中国高校计算机大赛-大数据挑战赛初赛阶段周周星奖项评选环节开始啦，通过对参赛选手在线提交相关模型文件的系统自动评测得分（以7月17日18:00榜单排名为准），第三周周周星在校生队伍和在职队伍排名榜单已出炉，恭喜获奖的队伍！目前榜单前三名的队伍在参赛中有哪些实战的经验呢，让我们一起听听他们的分享吧！菜菜-获奖经验分享大家好，很荣幸获得此次周周星，去年也是同一天太有缘了。目前榜上成绩是我们两个...
2024-07-18 17:03:44
24
转载 通向概率分布之路：盘点Softmax及其替代品
本文约7000字，建议阅读10分钟在这篇文章中，我们将简单总结一下 Softmax 的相关性质，并盘点和对比一下它的部分替代方案。不论是在基础的分类任务中，还是如今无处不在的注意力机制中，概率分布的构建都是一个关键步骤。具体来说，就是将一个维的任意向量，转换为一个元的离散型概率分布。众所周知，这个问题的标准答案是 Softmax，它是指数归一化的形式，相对来说比较简单直观，同时也伴有很多优...
2024-07-18 17:03:44
32
转载 【CMU博士论文】因果机器人操作学习
来源：专知本文约1000字，建议阅读5分钟本论文探索了从感知到控制的多种机器人学习问题。进入人工智能的第三个时代已有二十年，深度学习的兴起带来了两种看似截然不同的现实。在其中一种现实中，深度强化学习、蛋白质折叠和大语言模型等领域取得了巨大成就。然而，在另一种现实中，深度学习赋予机器人在现实环境中可靠操作的承诺仍未兑现。物体的多样性、分布转变和长尾现象：在实验室之外，现实环境对现代统计学习的数据...
2024-07-17 17:15:23
18
转载 RAG流程优化（微调）的4个基本策略
作者：Deephub Imba本文约3000字，建议阅读7分钟本文将介绍使用私有数据优化检索增强生成(RAG)的四种策略。在本文中，我们将介绍使用私有数据优化检索增强生成(RAG)的四种策略，可以提升生成任务的质量和准确性。通过使用一些优化策略，可以有效提升检索增强生成系统的性能和输出质量，使其在实际应用中能够更好地满足需求。RAG简单回顾RAG主要有两个过程。第一个是“数据收集过程”，它收...
2024-07-17 17:15:23
21
转载 清华大学王建民团队师生获“2024世界人工智能大会青年优秀论文奖”
近日，2024世界人工智能大会在上海召开，会上颁布了青年优秀论文奖（以下简称“WAICYOP青年优秀论文奖”），清华大学王建民教授团队师生的两项成果获奖。《高技巧极端降水临近预报大模型》获奖证书及论文作者张育宸（右图左三）《高技巧极端降水临近预报大模型》（Skilful Nowcasting of Extreme Precipitation with NowcastNet）获得青年优秀论文奖。论文...
2024-07-17 17:15:23
25
转载 深度时间序列预测和基础模型的研究进展
本文约9400字，建议阅读10+分钟本文综述了深度学习在时间序列预测中的应用，特别是在流行病预测领域。1 介绍本文综述了深度学习在时间序列预测中的应用，特别是在流行病预测领域。尽管深度学习在时间序列预测中表现出显著优势，但仍面临挑战，如时间序列不够长、无法利用积累的科学知识以及模型的解释性。基础模型的发展允许模型在大量训练数据可用之前理解模式并获取可用于新相关问题的知识。深度学习模型可以利用的大...
2024-07-17 17:15:23
27
转载 Transformer升级之路：RoPE的底数设计原则
来源：PaperWeekly本文约3200字，建议阅读6分钟本文简单介绍了论文《Base of RoPE Bounds Context Length》。我们知道，在RoPE中频率的计算公式为，底数默认值为 10000。目前 Long Context 的主流做法之一是，先在上用短文本预训练，然后调大并在长文本微调，其出发点是《Transformer升级之路：RoPE是一种β进制...
2024-07-16 17:02:26
22
转载 清华大学生命科学学院张强锋教授：AI 理解生命科学的海量数据，解析复杂调控网络...
本文约2000字，建议阅读7分钟正如微积分推动了现代力学的建立，技术是推动科学进展的重要动力。清华大学生命科学学院、清华-北大生命科学联合中心研究员、博导张强锋教授在第六届北京智源大会的「AI for Science」论坛上以「当人工智能遇上生命科学」为题，分享了如何利用 AI 结合冷冻电镜实现蛋白质结构的解析。「人工智能技术的进展，给生命科学带来了革命性的突破，能够让我们有机会理解生命科学的海...
2024-07-16 17:02:26
27
转载 首个4D视频生成扩散模型！数分钟实现4D内容生成，超81K优质数据集已开源
来源：PaperWeekly本文约1400字，建议阅读5分钟本文介绍各大学团队最新提出的 4D 生成扩散模型。本文介绍由多伦多大学，北京交通大学，德克萨斯大学奥斯汀分校和剑桥大学团队最新提出的 4D 生成扩散模型，该方法可以在几分钟之内可以完成时空一致的 4D 内容生成。Diffusion4D 整理筛选了约 81K 个 4D assets，利用 8 卡 GPU 共 16 线程，花费超过 30 天...
2024-07-15 17:01:33
33
转载 整合多组学数据，华大基因团队图神经网络模型SpatialGlue登Nature子刊
来源：ScienceAI本文为论文介绍，建议阅读5分钟近日，新加坡科技研究局（A*STAR）、华大基因和上海交通大学医学院附属仁济医院等组成的研究团队，提出了一种具有双注意力机制的图神经网络模型 SpatialGlue，能够以空间感知的方式整合多组学数据。空间转录组学是继单细胞转录组学出现以来，在生物样本分析领域的又一重大进展。多组学数据的整合至关重要。近日，新加坡科技研究局（A*STAR）、华...
2024-07-15 17:01:33
45
原创 原创｜一文读懂强化学习的Q 学习算法
作者：陈之炎本文约4800字，建议阅读9分钟本文介绍一篇收录在《IEEE TRANSACTIONS ON INFORMATION THEORY》的论文。强化学习中的价值学习算法是一类重要的强化学习算法，它们通过学习价值函数来指导智能体的行为选择。价值函数表示在特定状态下，智能体采取不同行动所能获得的长期累积回报的期望值。Q学习是一种基于状态-行动值函数（Q函数）的强化学习算法。在每个时...
2024-07-15 17:01:33
904
转载 机器人类脑智能研究综述
来源：专知本文为论文介绍，建议阅读5分钟本文综述了国内外面向机器人系统的类脑智能研究现状, 并对类脑智能方法在机器人感知、决策和控制三个研究方向的成果进行了整理、归纳和分析, 最后从软硬件层面分别指出了机器人类脑智能目前存在的主要问题和未来的发展方向.传统机器人经过长时间的研究和发展, 已经在生产和生活的多个领域实现了广泛的应用, 但在复杂多变的环境中依然缺乏与真实生物类似的灵活性、稳定性和适...
2024-07-14 17:00:35
32
转载 使用 PyTorch 创建的多步时间序列预测的 Encoder-Decoder 模型
来源：DeepHub IMBA本文约3800字，建议阅读8分钟本文提供了一个用于解决 Kaggle 时间序列预测任务的 encoder-decoder 模型。Encoder-decoder 模型在序列到序列的自然语言处理任务（如语言翻译等）中提供了最先进的结果。多步时间序列预测也可以被视为一个 seq2seq 任务，可以使用 encoder-decoder 模型来处理。本文提供了一个用于解决 K...
2024-07-14 17:00:35
39
原创 科普之旅 ｜ 大语言模型的思维链
作者：胡赟豪本文约3000字，建议阅读7分钟本文介绍了大语言模型的思维链。导读在这个信息爆炸的时代，你是否曾幻想过与机器流畅交谈，或是让AI助你笔下生花，创作出惊艳的文章？这一切，都离不开大语言模型的神奇魔力。今天，让我们一起揭开这层神秘的面纱，走进大语言模型的科普奇幻之旅！一背景自大语言模型兴起以来，人们通过不断地增加参数量，使模型的效果得到一次又一次的跃升。但是，单纯的增加参数量...
2024-07-14 17:00:35
489
转载 RouteLLM：高效LLM路由框架，可以动态选择优化成本与响应质量的平衡
本文约3300字，建议阅读10分钟本文提出了一种新的路由框架，通过动态选择强弱大型语言模型（LLMs）来优化成本与响应质量的平衡。该论文提出了一个新的框架，用于在强模型和弱模型之间进行查询路由选择。通过学习用户偏好数据，预测强模型获胜的概率，并根据成本阈值来决定使用哪种模型处理查询 。该研究主要应用于大规模语言模型（LLMs）的实际部署中，通过智能路由在保证响应质量的前提下显著降低成本。通过创新...
2024-07-13 17:01:20
32
转载 【斯坦福博士论文】有效的差分隐私深度学习
来源：专知本文约2000字绍，建议阅读5分钟本论文提出了更高效和性能更好的差分隐私深度学习训练技术。深度学习模型在训练过程中使用了敏感数据，当这些模型被部署时，可能会泄露隐私。例如，使用标准算法训练的语言模型可能会重复训练数据并揭示数据贡献者的成员信息。差分隐私（Differential Privacy, DP）是一种正式的保证，可以证明其限制隐私泄露，并已成为隐私保护统计数据分析的黄金标准。...
2024-07-13 17:01:20
32
转载 特征提取：传统算法 vs 深度学习
来源：深度学习基础与进阶本文约3100字，建议阅读10分钟特征提取是计算机视觉中的一个重要主题。不论是SLAM、SFM、三维重建等重要应用的底层都是建立在特征点跨图像可靠地提取和匹配之上。特征提取是计算机视觉领域经久不衰的研究热点，总的来说，快速、准确、鲁棒的特征点提取是实现上层任务基本要求。特征点是图像中梯度变化较为剧烈的像素，比如：角点、边缘等。FAST（Features from Ac...
2024-07-13 17:01:20
38
转载 【CMU博士论文】现代深度学习高效训练策略的进展：从隐式深度学习到语言模型及其拓展领域...
来源：专知本文为论文介绍，建议阅读5分钟本论文介绍了利用模型结构来提高资源和算法效率的流行神经网络架构的高效训练方法。在快速发展的机器学习领域，计算能力和数据的激增推动了深度学习成为学术研究的前沿。随着模型和数据集规模的不断扩大，越来越多的注意力集中在算法改进上，以应对日益增长的计算和内存需求。此外，由于其在广泛应用中的成功，该领域见证了多种多样的神经网络架构的涌现，每种架构都有其独特的训练挑...
2024-07-12 17:02:04
22
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人