数据派THU

转载 【KDD2024】面向课程图稀疏化的轻量级图神经网络搜索

来源：专知本文为论文介绍，建议阅读5分钟我们提出了一种结合课程图稀疏化和网络剪枝的轻量级图神经网络架构搜索（GASSIP）方法。图神经网络架构搜索（Graph Neural Architecture Search, GNAS）在各种图结构任务中取得了优异的性能。然而，现有的GNAS研究忽略了GNAS在资源受限场景中的应用。本文提出设计一种联合图数据和架构机制，通过有价值的图数据识别重要的子架构...

转载 独家 | 在Uber，Meta和初创公司的十年教会我的数据分析

作者：Torsten Walbaum翻译：陈超校对：付雯欣‍‍本文约4100字，建议阅读10+分钟本文介绍了作者在初创企业、成长型企业和大型技术企业从事数据分析工作过程中学到的10条经验。图片来自作者（Midjourney生成）在过去十年里，我曾在很多公司从事分析工作，从德国的小型金融科技初创公司到未进行IPO的成长型企业（Rippling）以及大型技术企业（Uber，Meta）。每家企业都有...

转载 【KDD2024】高频交易中的宏观强化学习：记忆增强的上下文感知强化学习

来源：专知本文为论文介绍，建议阅读5分钟我们提出了一种新颖的记忆增强的上下文感知强化学习方法。高频交易（HFT）在短时间尺度内执行算法交易，近年来已占据了加密货币市场的大部分份额。除了传统的量化交易方法外，强化学习（RL）由于其处理高维金融数据和解决复杂序列决策问题的强大能力，已成为高频交易的另一种有吸引力的方法。例如，分层强化学习（HRL）通过训练一个路由器从代理池中选择一个子代理来执行当前交...

转载 Multi-Head RAG：多头注意力的激活层作为嵌入进行文档检索

来源：DeepHub IMBA本文约2500字，建议阅读9分钟本文提出了一种利用解码器模型的多头注意层而不是传统的前馈层激活的新方案。现有的RAG解决方案可能因为最相关的文档的嵌入可能在嵌入空间中相距很远，这样会导致检索过程变得复杂并且无效。为了解决这个问题，论文引入了多头RAG (MRAG)，这是一种利用Transformer的多头注意层的激活而不是解码器层作为获取多方面文档的新方案。MRA...

转载 候选CVPR 2024最佳论文！深圳大学联手香港理工发布MemSAM：将 「分割一切」模型用于医学视频分割...

本文约3500字，建议阅读7分钟本论文提出了一种新颖的超声心动图视频分割模型 MemSAM，将 SAM 应用于医学视频。深圳大学计算机与软件学院和香港理工大学智能健康研究中心联合提出了一种新颖的超声心动图视频分割模型 MemSAM，与现有模型相比展示了最先进的性能。根据世界卫生组织 (WHO) 的统计数据，心血管疾病是全球死亡的主要原因，每年夺走约 1,790 万人的生命，占全球死亡人数的 32...

转载 为虚拟神经科学开辟新领域，斯坦福AI新算法模拟大脑如何理解视觉世界

来源：ScienceAI本文约1600字，建议阅读5分钟近日，斯坦福大学团队在利用 AI 复制大脑如何组织感官信息来理解世界的方式方面取得了重大进展，为虚拟神经科学开辟了新的领域。当我们看着时钟的秒针移动时，我们的大脑会激活一系列的神经元，这些神经元对特定的视觉角度敏感。这些细胞形成美丽的「风车」图，每部分代表不同角度的视觉感知。大脑的视觉区域还包含更复杂和抽象的视觉特征图，如面孔识别和场景理...

转载 独家 | 进阶RAG-提升RAG效果

作者：Luv Bansal翻译：wwl校对：张一然本文约4400字，建议阅读10+分钟本文讨论了优化RAG管道各部分和增强整体RAG流水线的各种技术。图片由作者使用Bing Chat提供的Dalle-3生成在我的上一篇博客中，我深入地介绍了RAG以及它是如何用LlamaIndex实现的。然而，RAG在回答问题时经常遇到许多挑战。在本博客中，我将解决这些挑战，更重要的是，我们将深入研究提高RAG...

转载 【阿姆斯特丹博士论文】图神经网络的归纳偏差

来源：专知本文约2500字，建议阅读5分钟本论文旨在通过引入额外的基于物理的归纳偏差来扩展GNNs的能力。https://hdl.handle.net/11245.1/c14b7d6a-136c-4e15-af82-d3ad7330add2图结构表示是一种强大的归纳偏差，适用于自然界中广泛的系统，从分子系统中的原子相互作用到复杂的人类互动（如社交网络）。图神经网络（GNNs）的成功部分归因于其在...

转载 Tiny Time Mixers (TTM)轻量级时间序列基础模型：无需注意力机制，并且在零样本预测方面表现出色...

来源：DeepHub IMBA本文约3200字，建议阅读6分钟本文为你介绍一个轻量级基于mlp基础TS模型“TTM”。大语言模型的发展让研究人员专注于建立尽可能大的模型。但是其实较小的模型在某些任务中表现会优于较大的模型时，例如：Llama 3-8B在MMLU任务上的表现优于较大的Llama 2-70B !这就说明大模型并不是万能的，在一些特定任务中，小模型表现得可能会更出色。所以IBM的研究...

转载 报名| 2024中国高校计算机大赛——大数据挑战赛火热开赛啦！

随着排行榜单上参赛队伍数据的不断刷新，一场汇聚全球高校智慧火花的盛宴，2024中国高校计算机大赛——大数据挑战赛初赛阶段正在火热比拼中。本次大赛旨在通过激烈的算法比拼，激发数据处理与分析的新思路，探索气象大数据的奥秘，促进大数据技术的创新与应用，推动产学研深度融合。竞赛平台已开始提供比赛的训练数据，参赛选手们可据此训练模型以及制定预估策略。特别介绍：大赛主办方之一、决赛比赛地点预告——鄂尔多斯欢迎...

转载 第一期清华数字化转型案例研讨会成功举办

6月23日，由清华大学大数据系统软件国家工程研究中心主办、中国通信学会开源技术专业委员会协办的“数字化转型案例研讨会”在双清大厦成功举办。本次研讨会共邀请20家企业参与研讨，国科恒泰、百度、安东油田和珠海中科院先进技术研究院人工智能大数据中心分别分享了各自在数字化转型工作中的案例经验。教育与技术交流中心主任何海洋主持会议。清华CIO班三期学员、国科恒泰副总经理兼CIO罗骅分享了数字化转型如何与公司...

转载 【牛津大学博士论文】深度概率模型的最优传输仿真方法

来源：专知本文约4000字，建议阅读5分钟本论文通过引入基于最优传输和仿真方法的新方法，对深度概率模型的发展作出了贡献。深度概率模型在高维、多模态数据合成和密度估计任务中已成为最新的技术前沿。通过将抽象的概率公式与神经网络的表达能力和可扩展性相结合，深度概率模型已成为机器学习工具箱中的基本组成部分。然而，这些模型仍然存在一些局限性。例如，深度概率模型通常局限于基于梯度的训练，因此难以结合非可微操...

转载 独家 ｜ 为什么谷歌的“AI概述”会出错？

作者：Rihannon Williams 2024年5月31日 发表于 MIT Technology Review翻译：高翊之校对：ZRX本文约2500字，建议阅读6分钟为什么AI概述会返回不可靠、潜在危险的信息？如果有办法的话，应该如何修复呢？‍谷歌新的人工智能搜索功能一团糟。它为什么叫我们去“吃石头和胶水比萨”，以及这个问题可以修复吗？当谷歌在本月初宣布推出人工智能驱动的搜索功能时...

转载 赠票｜2024年第三届“运筹学与人工智能在业界的前沿应用”研讨会

8月4日演讲嘉宾概览叶荫宇美国斯坦福大学管理科学与工程系及计算数学工程研究院李国鼎讲座教授简介：Yinyu Ye is currently the K.T. Li Professor of Engineering at Department of Management Science and Engineering and Institute of Computational and Mathem...

转载 CNN依旧能战：nnU-Net团队新研究揭示医学图像分割的验证误区，设定先进的验证标准与基线模型...

本文约4200字，建议阅读10+分钟作者通过批判性地评估现有研究中的常见短板，揭示了许多新颖方法性能超越传统方法的声称在严格验证后难以站得住脚。这篇论文研究了在3D医学图像分割领近年引入了许多新的架构和方法，但大多数方法并没有超过2018年的原始nnU-Net基准。作者指出，许多关于新方法的优越性的声称在进行严格验证后并不成立，这揭示了当前在方法验证上存在的不严谨性。揭示验证短板：深入探讨了当前...

转载 独家 | Pinterest如何仅用6名工程师搞定1100万用户

作者：Devansh翻译：陈之炎校对：ZRX本文约2900字，建议阅读8分钟Pinterest的扩展历程 —— 从0到每月数十亿页面浏览量，仅用了两年。最近我偶然发现了一个很棒的YouTube视频，“Pinterest如何仅用6名工程师扩展到1100万用户”，以及另一篇文章，“Pinterest的扩展历程 —— 从0到每月数十亿页面浏览量，仅用了两年”。我认为二者都是学习系统设计的极好...

转载 Block Transformer：通过全局到局部的语言建模加速LLM推理

来源：DeepHub IMBA本文约2500字，建议阅读8分钟Block Transformer架构突出了自回归变换器中全局到局部建模的推理时优势。在基于transformer的自回归语言模型（LMs）中，生成令牌的成本很高，这是因为自注意力机制需要关注所有之前的令牌，通常通过在自回归解码过程中缓存所有令牌的键值（KV）状态来解决这个问题。但是，加载所有先前令牌的KV状态以计算自注意力分数则占...

转载 【CVPR2024教程】新加坡国立等最新《边缘AI实战：开发和部署优化模型的实用方法》教程...

来源：专知本文约1200字，建议阅读5分钟来自IT University of Copenhagen给出了《边缘人工智能》教程，值得关注！6 月 17 日至 21 日，计算机视觉领域顶级盛会之一国际计算机视觉与模式识别会议（CVPR 2024）将在加拿大温哥华举行。CVPR（Computer Vision and Pattern Recognition，计算机视觉与模式识别）会议是计算机视觉与模...

转载 AI 回答物理学问题，MIT 开发自动绘制材料相图机器学习框架

来源：ScienceAI本文约1700字，建议阅读7分钟本文为你介绍一种新的机器学习框架，可以自动绘制新的物理系统的相图，几乎不需要人类监督。当水结冰时，它会从液相转变为固相，密度和体积等特性会发生巨大变化。水中的相变很常见，但新型材料或复杂物理系统中的相变是一个重要的研究领域。绘制相图通常需要大量的人类直觉和理解。如何量化未知系统中的相变通常是不清楚的，尤其是在数据稀缺的情况下。麻省理工学院...

转载 【CVPR2024教程】推理的鲁棒性：走向可解释性、不确定性和可干预性

来源：专知本文约2000字，建议阅读5分钟在本教程中，我们提供了一种以人为中心的方法来理解神经网络的鲁棒性，使AI能够在社会中正常运行。神经网络提供了具有普遍适用性和任务独立性的表示空间，这些表示空间在图像理解应用中得到了广泛应用。图像数据中特征交互的复杂语义已被分解为一组非线性函数、卷积参数、注意力机制以及多模态输入等。这些操作的复杂性引入了神经网络架构中的多种漏洞，包括对抗样本、自信校准问...

转载 从LLM中完全消除矩阵乘法，效果出奇得好，10亿参数跑在FPGA上接近大脑功耗

来源：机器之心‍‍本文约3700字，建议阅读5分钟本文介绍了矩阵乘法（MatMul）中GPU专门针对MatMul操作进行优化的过程。让语言模型「轻装上阵」。一直以来，矩阵乘法（MatMul）稳居神经网络操作的主导地位，其中很大原因归结为 GPU 专门针对 MatMul 操作进行了优化。这种优化使得 AlexNet 在 ILSVRC2012 挑战赛中一举胜出，成为深度学习崛起的历史性标志。在这当中...

转载 数据并非都是正态分布：三种常见的统计分布及其应用

本文约4300字，建议阅读10+分钟统计分布是统计推断领域的重要工具，它为数据分析和预测提供了基础。你有没有过这样的经历？使用一款减肥app，通过它的图表来监控自己的体重变化，并预测何时能达到理想体重。这款app预测我需要八年时间才能恢复到大学时的体重，这种不切实际的预测是因为应用使用了简单的线性模型来进行体重预测。这个模型将我所有过去的体重数据进行平均处理，然后绘制一条直线预测未来的体重变化。...

转载 重温被Mamba带火的SSM：线性系统和HiPPO矩阵

本文约4800字，建议阅读10分钟本文介绍了ssm相关内容。前几天，笔者看了几篇介绍 SSM（State Space Model）的文章，才发现原来自己从未认真了解过 SSM，于是打算认真去学习一下 SSM 的相关内容，顺便开了这个新坑，记录一下学习所得。SSM 的概念由来已久，但这里我们特指深度学习中的 SSM，一般认为其开篇之作是 2021 年的 S4，不算太老，而 SSM 最新最火的变体大...

转载 文本分类算法及其应用场景研究综述

来源：专知本文约1000字，建议阅读5分钟针对当前研究难题与挑战，本文对文本分类方法进行了系统性调研，并对当前方法在实际应用场景中面临的技术挑战和未来的研究方向进行了综合探讨。随着大数据时代的到来，互联网中的文本信息迎来了井喷式的增长。文本分类作为自然语言处理中最重 要的技术之一，其广泛应用于多个领域，如情感分析、新闻分类、自然语言推理、主题标记、抽取式问答、虚假内容检测等。从传统机器学习分类方...

转载 【KDD2024】SEFraud：通过解释性掩码学习实现的基于图的自解释欺诈检测

来源：专知本文为论文介绍，建议阅读5分钟我们提出了SEFraud，这是一种新颖的基于图的自解释欺诈检测框架，同时解决欺诈检测和结果解释问题。基于图的欺诈检测在现代工业场景中有广泛应用，如垃圾评论和恶意账户检测。虽然在设计有效的欺诈检测器方面已经投入了大量努力，但其结果的可解释性往往被忽视。先前的工作尝试使用后处理解释方法（如GNNExplainer）为特定实例生成解释。然而，后处理解释无法促进...

转载 中国气象局联合清华大学发布“风清”“风雷”气象大模型系统

6月18日，中国气象局召开人工智能气象预报大模型系统发布研讨会，并在会上联合清华大学发布了人工智能全球中短期预报系统“风清”（简称“风清”大模型）和人工智能临近预报系统“风雷”（简称“风雷”大模型）。中国气象局党组书记、局长陈振林，中国科学院院士，南京大学党委副书记、校长谈哲敏，清华大学党委常委、副校长郑力，复旦大学党委常委、副校长汪源源，中国工程院院士孙家广、沈学顺，中国科学院院士周秀骥、张人禾...

转载 ANP (Analytic Network Process) 模型的基本思想

来源：模型视角‍‍本文约1000字，建议阅读5分钟本文介绍了ANP模型的基本思想。‍在综合评价模型中，层次分析法（AHP）是一种常用的方法，但它假设决策问题的各个元素之间是独立的，这在复杂的实际问题中可能并不成立。为了克服这一局限性，Thomas L. Saaty提出了网络分析法（Analytic Network Process，ANP）模型，它是AHP的拓展，能够处理元素之间的相互依赖和反馈关...

转载 通知 | 清华大学“大数据能力提升项目”证书办理及领取（2024春第二次办理）...

同学们好，2024年春季学期大数据能力提升项目证书办理工作即将开启。请满足证书办理条件的同学，按时提交申请材料。具体通知如下：1. 请再次确认报名大数据能力提升项目年份，并根据以下对应年份的培养方案查找申请证书要求。2019年及之前参照《 2019年培养方案》：https://mp.weixin.qq.com/s/2OdPtKl_Wuj8zEbd0uNTMw2020年-2021年参照《 2020年...

转载 重塑锂电池性能边界，武汉理工大学康健强团队，基于集成学习提出简化电化学模型...

本文约4200字，建议阅读5分钟本文介绍了武汉理工大学团队重塑锂电池性能边界。‍‍‍‍‍‍‍武汉理工大学康健强团队提出了一种集成学习 + FIE 的简化电化学模型模型，集成学习集成了 DRA、FOM 和 TPM，可以比单个 DRA、FOM、TPM 模型实现更准确的电压预测，其计算复杂度也远远低于 P2D 模型。2022 年 7 月，不老男神林志颖突发车祸，作为专业赛车手的他驾驶的特斯拉 Mode...

转载 改变未来对撞机实验游戏规则，中国科学院、北大开发AI驱动喷注本源鉴别技术...

来源：ScienceAI本文约1700字，建议阅读5分钟该技术可以把未来对撞机上关键物理测量的精确程度提升一个数量级，大幅扩展了大科学装置的科学发现能力。环形正负电子对撞机（CEPC）中模拟的双喷注事例示意图。（来源：中国科学院高能物理研究所）夸克和胶子是粒子物理标准模型中的基本粒子，与电子或光子不同，夸克和胶子不能在时空中自由运动，只能被束缚在如质子或中子这样的复合粒子中。对撞机实验中产生的...

转载 直播预告｜2024 K+全球软件研发行业创新峰会主论坛即将开启

K+全球软件研发行业创新峰会旨在发现全球软件研发领域的创新工程和杰出团队，整合国际前沿技术实践，构建行业案例研究智库，通过软件研发技术的创新融合，帮助中国企业成功进行数字化转型与升级。本届大会以“洞见·聚势·智变”为主题，洞察行业发展趋势，以强大的合力汇聚势能，以智慧的创新引领变革。峰会融合主题演讲、互动研讨、案例分享、实战演练等多种形式，共同探讨软件领域的前沿发展、最佳实践和创新应用，打造大师智...

转载 使用PyTorch Profiler进行模型性能分析，改善并加速PyTorch训练

来源：DeepHub IMBA本文约3100字，建议阅读6分钟本文中介绍了使用PyTorch Profiler来查找运行瓶颈和一些简单的提速方法。如果所有机器学习工程师都想要一样东西，那就是更快的模型训练——也许在良好的测试指标之后。加速机器学习模型训练是所有机器学习工程师想要的一件事。更快的训练等于更快的实验，更快的产品迭代，还有最重要的一点需要更少的资源，也就是更省钱。熟悉PyTorch ...

转载 【牛津大学博士论文】探索用于半监督学习的概率模型

来源：专知本文为论文介绍，建议阅读5分钟本论文进一步探索了SSL的概率模型。借助广泛使用的贝叶斯近似工具——蒙特卡洛（MC） dropout，我提出了一种新的概率框架，即生成贝叶斯深度学习（GBDL）架构，用于半监督医学图像分割。深度神经网络因其强大的性能，越来越多地应用于计算机视觉任务。然而，它们的训练需要大规模的标注数据集，而这些数据集的准备工作耗时费力。半监督学习（SSL）通过结合标注数...

转载 数据湖核心能力解析

本文约4100字，建议阅读8分钟本文将分享数据湖的发展近况。主要内容包括：1.数据湖发展趋势分析2.数据湖整体架构3.数据集成4.Lakehouse核心能力5.Lakehouse 开放性设计6.流批一体7.实时 OLAP8.湖内建仓01、数据湖发展趋势分析当下，数据湖已成为企业数据平台架构的重要组成部分。传统的数据平台架构一般由数据湖、流式计算和 OLAP 引擎查询三个部分组成...

转载 杀疯了！全面超越Llama3的强悍开源模型，仅9B，1000k上下文；GPT-4级别模型1年降价1万倍...

本文约2800字，建议阅读5分钟本文介绍了智谱AI开放平台的全模型矩阵。‍去年的这个时候，笔者特别喜欢钻研OpenAI开发者平台的模型列表，为了做出好用&好玩的东西，可以说是把OpenAI的模型能力边界摸得透透的。但今天智谱AI低调放了个大招后，我突然间发现OpenAI已经不香了。事情是这样的。笔者今天来到了智谱AI Open Day大会现场吃瓜（social），发现智谱AI开放平台 b...

转载 报名 | 清华大学数字化转型案例研讨会第一期

转载 准确率92~98%，人工智能揭示大脑结构中与性别相关的差异

来源：专知本文约2000字，建议阅读5分钟在本论文中，我们旨在通过关注多模态智能的三个关键维度来推动该领域的发展：多模态对齐性、鲁棒性和泛化性。在神经科学研究领域，生物性别作为关键变量，对认知功能和神经精神疾病中的性别差异研究至关重要。尽管先前已在大脑宏观结构如皮层厚度或区域大小上观察到显著的统计学差异，但关于可能揭示脑健康与疾病机制的细胞层面微观结构的性别差异仍知之甚少。探究男性与女性之间的这...

转载 一切模型皆可联邦化：高斯朴素贝叶斯代码示例

来源：DeepHub IMBA本文约1500字，建议阅读5分钟本文将以高斯朴素贝叶斯分类器为例创建一个联邦学习系统。联邦学习是一种分布式的机器学习方法，其中多个客户端在一个中央服务器的协调下合作训练模型，但不共享他们的本地数据。一般情况下我们对联邦学习的理解都是大模型和深度学习模型才可以进行联邦学习，其实基本上只要包含参数的机器学习方法都可以使用联邦学习的方法保证数据隐私。所以本文将以高斯朴素...

转载 从提示工程到代理工程：构建高效AI代理的策略框架概述

来源：DeepHub IMBA本文约2700字，建议阅读5分钟本文主要介绍了从提示工程到代理工程的转变。自ChatGPT推出以来，仅仅一年多的时间里，公众对于“人工智能”（AI）的认识已经发生了根本性的变化。这种变化部分源于公众意识的提高，更多则是基于这样一个认识：AI驱动的系统不仅可能，而且可能已经具备了与人类相当的能力和表现。ChatGPT不仅是AI能力的一个验证，更是半个多世纪以来AI研...

转载 为什么你的RAG不起作用？失败的主要原因和解决方案

来源：DeepHub IMBA本文约4200字，建议阅读5分钟本文揭示了普通RAG失败的主要原因，并提供具体策略和方法，使您的RAG更接近生产阶段。无数企业正在尝试使用检索增强生成（RAG），但在制作这些系统达到生产质量时普遍会感到失望。因为他们的RAG不仅运行效果差，而且对于如何改进和如何进行后续的工作也感到十分的迷茫。其实阻碍RAG系统的一个关键因素是语义不协调，这是由于任务的预期含义、R...