- 博客(5403)
- 收藏
- 关注
RSS订阅转载 独家 | 一种建立神经网络的新方式可以使AI更容易理解
作者：Anil Ananthaswamy翻译：陈超校对：zrx本文约2000字，建议阅读5分钟本文介绍了一种建立神经网络的新方法Kolmogorov-Arnold网络（KANs），并与传统的AI多层感知器（MLP）进行了对比。一种简化的方法能够更容易看清神经网络如何进行输出。Stephanie arnett / MIT科技评论| envato对人工神经元在神经网络中的工作方式进行微调，就可...
2024-09-21 17:02:18
149
转载 【博士论文】可控图像与视频合成
来源：专知本文为论文介绍，建议阅读5分钟本论文在图像和视频合成领域提出了几项进展，介绍了灵活的控制方式，增强了用户交互能力，并促进了定制内容的创作。近年来，生成模型取得了显著进展，大大提升了合成图像和视频的质量。本论文在此基础上进一步研究了生成模型的可控性。在提高合成质量的同时，使生成模型具备控制合成内容的能力也至关重要，因为可控性为用户交互和定制内容创作铺平了道路。本论文研究了可控的图像和视...
2024-09-20 17:04:59
13
转载 【博士论文】大语言模型的测试与评价：准确性、无害性和公平性
来源：专知本文为论文介绍，建议阅读5分钟本文介绍了我在博士研究期间对语言模型可靠性领域的探索性工作，从自动化软件测试和自然语言处理的角度研究LLMs的准确性、无害性和公平性。大型语言模型（LLMs），如ChatGPT，凭借其出色的对话能力和智能性，在过去几年中迅速渗透到人们的工作和日常生活中。ChatGPT已经成为人类历史上用户增长最快的软件，并成为下一代人工智能应用的重要基础模型。然而，LL...
2024-09-19 17:04:16
63
转载 前沿进展：Koopman神经算子求解偏微分方程
本文约2300字，建议阅读5分钟本文为你介绍一种用于求解偏微分方程的神经算子模型。[ 导语 ]偏微分方程与科学和工程形影不离，无论是建模流体运动的Navier-Stokes方程，还是描述电磁场相互作用的麦克斯韦方程等，都可以用偏微分方程建模。高度的非线性特征使得这些方程难以解析求解，有限差分法、有限体积法和谱方法等数值方法成为求解偏微分方程的重要手段，支撑着模拟实验、工程仿真和业务预报等方方面面...
2024-09-19 17:04:16
126
原创 科普之旅 ｜ 漫话智能体-当机器学会思考
作者：陈之炎本文约3000字，建议阅读7分钟智能体的未来充满了无限可能。导读在这个信息爆炸的时代，你是否曾幻想过与机器流畅交谈，或是让AI助你笔下生花，创作出惊艳的文章？这一切，都离不开大语言模型的神奇魔力。今天，让我们一起揭开这层神秘的面纱，走进大语言模型的科普奇幻之旅！想象一下，你走进一家餐厅，服务员是一个机器人，它不仅能听懂你点菜的需求，还能根据你的口味推荐菜品。或者，你在家中，对...
2024-09-19 17:04:16
802
转载 灵敏度提高56%，港中文/复旦/耶鲁等联袂提出全新蛋白质同源物检测方法
本文约4000字，建议阅读10+分钟在对蛋白质的识别过程中，蛋白质序列的同源性鉴定则是其中一项至关重要的任务。作者：田小幺编辑：十九，李宝珠基于蛋白质语言模型和密集检索技术，香港中文大学李煜，联合复旦大学智能复杂体系实验室、上海人工智能实验室青年研究员孙思琦、耶鲁大学 Mark Gerstein 提出了一种超快速、高灵敏度的同源物检测框架——密集同源物检索器。蛋白质是构成生命的物质基础，是生命活...
2024-09-18 17:01:32
71
转载 多模态复合编辑与检索综述
来源：专知本文为论文介绍，建议阅读5分钟本综述是首个关于多模态复合检索的全面文献回顾，是对现有多模态融合综述的及时补充。在现实世界中，信息跨越不同模态且种类繁多，理解并利用多种数据类型来改进检索系统是研究的关键重点之一。多模态复合检索集成了文本、图像、音频等多种模态，以提供更精准、个性化和上下文相关的结果。为了促进对这一有前景方向的深入理解，本综述深入探讨了多模态复合编辑与检索，涵盖了图文复合...
2024-09-18 17:01:32
97
原创 2024大数据挑战赛全国六强团队获奖经验+ppt分享（六）
团队名称南山必胜客团队成员杨智轩（重庆邮电大学）古泽波（重庆邮电大学）陈嘉文（重庆邮电大学）团队名次全国第一名赛题描述说明介绍报名 | 2024中国高校计算机大赛——大数据挑战赛报名启动！关注微信公众号“数据派THU”，后台回复“20240615”，即可获取“赛题描述”参赛分享与收获在这次比赛中，我们团队收获了很多，也深刻体会到了理论与实践相结合的重要性，赛题要求我们解决多变量输入情况下的长时间序...
2024-09-18 17:01:32
335
转载 深入理解双变量（二元）正态投影：理论基础、直观解释与应用实例
来源：DeepHub IMBA本文约2000字，建议阅读5分钟本文为你介绍二元投影。在统计学和机器学习中,理解变量之间的关系对于构建预测模型和分析数据至关重要。探索这些关系的一种基本技术是双变量投影 bivariate projection。它依赖于二元正态分布的概念，所以又被称为二元投影。这种技术允许我们根据另一个变量来检验和预测一个变量的行为，利用它们之间的依赖结构，所以在本文中我们统一将...
2024-09-17 17:00:36
53
转载 Optuna发布 4.0 重大更新：多目标TPESampler自动化超参数优化速度提升显著
来源：Deephub Imba本文约2200字，建议阅读5分钟本文介绍了Optuna这个备受欢迎的超参数优化框架在近期发布了其第四个主要版本。Optuna这个备受欢迎的超参数优化框架在近期发布了其第四个主要版本。自2018年首次亮相以来，Optuna不断发展，现已成为机器学习领域的重要工具。其用户社区持续壮大，目前已达到以下里程碑：10,000+ GitHub星标每月300万+ 下载量16,...
2024-09-16 17:00:39
24
转载 【伯克利博士论文】迈向能够理解丰富交流的智能体
来源：专知本文约2500字，建议阅读5分钟本论文在教导智能体理解丰富交流的两大挑战上取得了进展。当今的AI系统主要通过大规模的输入输出对进行训练。这些智能体可能能够基于简单的交流形式（如语言任务描述）进行推理，但它们目前还无法利用人类教师在指导学生时使用的全面沟通方式，包括语言和非语言形式的交流。本论文在教导智能体理解丰富交流的两大挑战上取得了进展。在第一部分中，我们开发了算法，可以高效地实现智...
2024-09-16 17:00:39
43
原创 2024大数据挑战赛全国六强团队获奖经验+ppt分享（四）
团队名称剃刀鲸是鲸吗团队成员王宏伟（青岛大学）团队名次全国第三名赛题描述说明介绍报名 | 2024中国高校计算机大赛——大数据挑战赛报名启动！关注微信公众号“数据派THU”，后台回复“20240615”，即可获取“赛题描述”参赛分享与收获通过这次比赛，我深刻体会到了算法在解决实际问题中的核心作用。赛题背景强调了气象数据预测的重要性，以及在预测过程中必须面对的泛化性挑战，以及如何处理数据中的缺失值和...
2024-09-16 17:00:39
229
转载 优化采样参数提升大语言模型响应质量：深入分析温度、top_p、top_k和min_p的随机解码策略...
来源：DeepHub IMBA本文约4400字，建议阅读10+分钟本文将详细解析并可视化定义LLM输出行为的采样策略。当向大语言模型(LLM)提出查询时，模型会为其词汇表中的每个可能标记输出概率值。从这个概率分布中采样一个标记后，我们可以将该标记附加到输入提示中，使LLM能够继续输出下一个标记的概率。这个采样过程可以通过诸如temperature和top_p等参数进行精确控制。但是你是否曾深入...
2024-09-15 17:01:19
80
转载 【牛津大学博士论文】将归纳偏差融入机器学习算法
来源：专知本文为论文介绍，建议阅读5分钟在本论文中，我们从归纳偏差的角度解决这一挑战。近年来，人工智能（AI）领域取得的重大进展，已经超越了五年前的想象。如今，我们可以通过指令让基于扩散的模型从人类描述中生成高质量的视频，或者通过提示大型语言模型（LLMs）来协助写作、翻译，甚至进行数学推理。这些非凡的能力源于在大量数据上训练的超大规模深度学习模型。然而，我们并不总是拥有足够的数据。在一些任务...
2024-09-15 17:01:19
103
原创 2024大数据挑战赛全国六强团队获奖经验+ppt分享（三）
团队名称卡我一个团队成员张 菠（重庆邮电大学）陈星霖（重庆邮电大学）王 飞（重庆邮电大学）团队名次全国第四名赛题描述说明介绍报名 | 2024中国高校计算机大赛——大数据挑战赛报名启动！关注微信公众号“数据派THU”，后台回复“20240615”，即可获取“赛题描述”参赛分享与收获我们队伍非常有幸参加本次时序预测相关的大数据挑战赛，通过本次比赛，我们队伍收获颇丰，在大量查阅论文，复现代码，...
2024-09-15 17:01:19
661
转载 【ECCV2024】开放世界动态提示与持续视觉表征学习
来源：专知本文约1000字，建议阅读5分钟我们提出了动态提示与表征学习器 (DPaRL)，这是一种简单但有效的基于提示的持续学习 (PCL) 方法。开放世界本质上是动态的，其特征是不断演变的概念和分布。在这种动态开放世界环境中，持续学习 (CL) 面临着如何有效泛化到未见测试类别的重大挑战。为应对这一挑战，我们引入了一种新的实际 CL 设置，专为开放世界的视觉表征学习设计。在该设置中，后续数据...
2024-09-14 17:01:43
28
转载 三元组损失Triplet loss 详解
来源：Deephub Imba本文约2200字，建议阅读5分钟本文我们将以简单的技术术语解析三元组损失及其变体批量三元组损失,并提供一个相关的例子来帮助你理解这些概念。深度神经网络在识别模式和进行预测方面表现出色,但在涉及图像识别任务时,它们常常难以区分相似个体的图像。三元组损失是一种强大的训练技术,可以解决这个问题,它通过学习相似度度量,在高维空间中将相似图像准确地嵌入到彼此接近的位置。在这篇...
2024-09-14 17:01:43
55
原创 2024大数据挑战赛全国六强团队获奖经验+ppt分享（二）
团队名称会萤的团队成员周文骞（上海第二工业大学）陈 凯（上海第二工业大学）潘瑞珺（上海第二工业大学）团队名次全国第五名赛题描述说明介绍报名 | 2024中国高校计算机大赛——大数据挑战赛报名启动！关注微信公众号“数据派THU”，后台回复“20240615”，即可获取“赛题描述”参赛分享与收获1. 数据处理与特征工程针对原始数据的处理至关重要。通过对站点周围的气象数据进行特征提取，包括矢量风速的...
2024-09-14 17:01:43
465
转载 PyTorch数据处理：torch.utils.data模块的7个核心函数详解
本文约1800字，建议阅读5分钟本文将深入介绍PyTorch中torch.utils.data模块的7个核心函数,这些工具可以帮助你更好地管理和操作数据。在机器学习和深度学习项目中,数据处理是至关重要的一环。PyTorch作为一个强大的深度学习框架,提供了多种灵活且高效的数据处理工具。本文将深入介绍PyTorch中torch.utils.data模块的7个核心函数,这些工具可以帮助你更好地管理和...
2024-09-13 17:01:28
104
转载 【CMU博士论文】机器人学习中的触觉感知：从开发到部署
来源：专知本文约4000字，建议阅读5分钟通过探讨ReSkin的设计、集成、策略学习和表示学习，本文旨在为机器人学习中有效的感知系统的实现提供指导。触觉感知在机器人与物理环境交互中扮演着重要角色，这一观点已被广泛认可。然而，现有的传感器中，少有能够在机器人领域中得到广泛应用。本文提出了一个将触觉感知融入机器人学习范式的框架，涵盖从开发到部署的全过程，并通过ReSkin——一种多功能且可扩展的磁...
2024-09-13 17:01:28
110
原创 2024大数据挑战赛全国六强团队获奖经验+ppt分享（一）
团队名称版本之子团队成员卢杰（浙江理工大学）团队名次全国第六名赛题描述说明介绍报名 | 2024中国高校计算机大赛——大数据挑战赛报名启动！关注微信公众号“数据派THU”，后台回复“20240615”，即可获取“赛题描述”参赛分享与收获2017年，我还是一名大三学生，第一次参加了BDC比赛。从那时起，我正式踏入了机器学习的世界。时光飞逝，7年过去了，今天我有幸再次参与了BDC大赛。每一次参赛，我不...
2024-09-13 17:01:28
235
转载 直播 | 2024 wisemodel社区开发者大会
始智AI wisemodel社区上线1周年！欢迎广大开发者朋友及大模型应用领域朋友等参与wisemodel社区开发者大会，共同庆祝wisemodel社区上线1周年！2024 wisemodel社区开发者大会暨2024年AI开源生态论坛主题：共建开源开放生态，推动智能产业革命活动背景经过一年多的追赶，中国AI大模型技术和产业与美国的差距在不断缩小，以大模型为核心的新一轮技术浪潮正在深刻地改变着产...
2024-09-12 17:03:27
53
转载 【伯克利博士论文】大型语言模型:迈向能够学习和发现一切的机器
来源：专知本文约1000字，建议阅读5分钟在本论文中，我将讨论我在推进这些模型基础上的研究，重点解决从现有数据中学习的瓶颈以及超越现有知识发现的挑战。大型生成模型带来了惊人的成果，并彻底改变了人工智能。在本论文中，我将讨论我在推进这些模型基础上的研究，重点解决从现有数据中学习的瓶颈以及超越现有知识发现的挑战。首先，我将描述我们为消除Transformer架构的上下文大小限制所做的努力。我们的建模...
2024-09-12 17:03:27
83
转载 深入理解GPU内存分配：机器学习工程师的实用指南与实验（附代码）
来源：DeepHub IMBA本文约6200字，建议阅读12分钟本文将帮助你理解GPU内存分配核心概念。给定一个模型架构、数据类型、输入形状和优化器,你能否计算出前向传播和反向传播所需的GPU内存量？要回答这个问题,我们需要将流程分解为基本组件,并从底层理解内存需求。以下实验(可以在Google Colab上运行)将帮助你理解核心概念。预留与分配PyTorch预留了更多内存,但只分配所需的内存...
2024-09-12 17:03:27
133
转载 从节点到知识：PyTorch Geometric的异构消息传递解析
来源：DeepHub IMBA本文约2600字，建议阅读8分钟本文将深入探讨异构GNNs，它们可以处理不同的节点类型及其独特特征。图神经网络(GNNs)是预测复杂系统行为的强大工具：例如社交网络、金融交易，或作者、论文和学术场所之间的联系。虽然许多GNN教程专注于具有单一节点类型的简单图,但现实世界的系统通常更加复杂，需要异构图。本文将深入探讨异构GNNs，它们可以处理不同的节点类型及...
2024-09-12 17:03:27
142
转载 报名 | 2024 wisemodel社区开发者大会
始智AI wisemodel社区上线1周年！欢迎广大开发者朋友及大模型应用领域朋友等参与wisemodel社区开发者大会，共同庆祝wisemodel社区上线1周年！2024 wisemodel社区开发者大会暨2024年AI开源生态论坛主题：共建开源开放生态，推动智能产业革命活动背景经过一年多的追赶，中国AI大模型技术和产业与美国的差距在不断缩小，以大模型为核心的新一轮技术浪潮正在深刻地改变着产...
2024-09-11 17:03:14
47
转载 【KDD2024教程】RAG遇上LLMs：迈向检索增强的大语言模型
来源：专知本文约1000字，建议阅读5分钟在本教程中，我们全面回顾了现有的关于检索增强大型语言模型（RA-LLMs）的研究工作。作为人工智能领域最先进的技术之一，检索增强生成（RAG）技术能够提供可靠且最新的外部知识，为众多任务带来了巨大的便利。特别是在AI生成内容（AIGC）时代，RAG强大的检索能力可以提供额外的知识，帮助现有的生成式AI生成高质量的输出。最近，大型语言模型（LLMs）在语...
2024-09-11 17:03:14
67
转载 共绘校企新蓝图 | 清华&SEI大数据专业实践基地全纪实
导读：为进一步推动产教融合、增强研究生在大数据领域的实践创新能力，清华大学软件学院与中国石化工程建设有限公司（以下简称：SEI）于2024年7月共建了研究生专业实践基地，并成为清华大学在该年度成立的首个研究生专业实践基地。该基地旨在紧密连接大数据领域的研究生教育与行业实际需求，通过强化学生的实践技能和应用能力来促进学术界与产业界的深度融合。校企双方将共同规划和实施一系列实践项目，在这些项目中，既包...
2024-09-11 17:03:14
121
转载 阿里推出AI数据科学家，全流程自动化，科研小白也能用
来源：量子位本文约2900字，建议阅读10分钟基于开源Agent框架，可自动解决复杂数据科学问题的Agent来了！具体来说，Data Science Assistant（以下称DS Assistant）是基于Modelscope-Agent框架开发的数据科学助手。有了它，我们只需给需求，这个助手就能自己跑完探索性数据分析（EDA）、数据预处理、特征工程、模型训练，模型评估等步骤。当然，除了本文...
2024-09-11 17:03:14
151
转载 Mamba模型综述！
来源：算法进阶本文约3000字，建议阅读5分钟本文近期与Mamba相关的研究进行了深入调查。Transformers作为深度学习最具代表性的架构，赋能了众多先进模型，尤其是包含数十亿参数的大型语言模型（LLMs），成为深度学习的基石。尽管取得了令人瞩目的成就，Transformers仍面临固有的局限性，尤其是在推理时，由于注意力计算的平方复杂度，导致推理过程耗时较长。最近，一种名为Mamba的...
2024-09-10 17:02:45
69
转载 含 14 万张图像！华中科技大学发布高质量甲骨文数据集，助力团队摘冠 ACL 最佳论文...
本文约2500字，建议阅读8分钟当 AI 浪潮重塑传统科研，白翔教授为代表的研究学者再度成为了 AI 赋能甲骨文研究的拓荒者、探路者。作者：王鹏杰编辑：十九，李宝珠华中科技大学白翔教授研究团队的王鹏杰等人，提出了高质量的 HUST-OBC 甲骨文数据集，从书籍、网站和现有数据集这 3 种不同的来源来收集，最终数据集包含 1,588 个已破译字符的 77,064 张图像和未破译的 62,989 张...
2024-09-10 17:02:45
84
转载 【斯坦福博士论文】超越最大似然估计：分布感知机器学习
来源：专知本文为论文介绍，建议阅读5分钟在本论文中，我们提出了若干贡献，以提高超越最大似然方法的可操作性。传统的机器学习方法通常依赖于最大似然估计（MLE），因为其实现简单且等价于最小化KL散度。然而，仅通过最大化似然进行训练的模型往往缺乏在实际应用中所期望的某些特性，如不确定性的量化、对分布外输入的鲁棒性，或遵守隐私约束。随着机器学习模型被越来越广泛地部署，这些重要特性变得比以往任何时候都更加...
2024-09-10 17:02:45
279
转载 视觉语言导航：大模型时代的综述
来源：专知本文约3000字，建议阅读5分钟在本综述中，我们提供了一种自上而下的审视方法，采用了一种原则性框架进行具身规划和推理，并强调了利用基础模型应对VLN挑战的当前方法和未来机会。视觉与语言导航（VLN）近年来受到越来越多的关注，许多方法已经涌现出来以推动其发展。基础模型的显著成就已经塑造了VLN研究的挑战和提出的方法。在本综述中，我们提供了一种自上而下的审视方法，采用了一种原则性框架进行...
2024-09-09 17:02:22
182
转载 CNN中的注意力机制综合指南：从理论到Pytorch代码实现
本文约3400字，建议阅读10+分钟本文将全面介绍CNN中的注意力机制，从基本概念到实际实现，为读者提供深入的理解和实践指导。注意力机制已经成为深度学习模型，尤其是卷积神经网络（CNN）中不可或缺的组成部分。通过使模型能够选择性地关注输入数据中最相关的部分，注意力机制显著提升了CNN在图像分类、目标检测和语义分割等复杂任务中的性能。本文将全面介绍CNN中的注意力机制，从基本概念到实际实现，为读者...
2024-09-09 17:02:22
252
转载 AI4Science前沿综述：机器学习应用于计算流体力学最新进展
本文约4400字，建议阅读10+分钟本文为计算流体力学中的前向建模引入了一种新的分类方法。[ 导语 ]近日，来自北京大学、 UCLA、中科院、马里兰大学、斯坦福大学、西湖大学等6个机构的作者合作撰写了一篇关于机器学习在计算流体力学中近期应用的重磅综述。文献首先详细介绍了基础概念、传统方法和基准数据集。在系统地回顾了近五年的论文后，本文为计算流体力学中的前向建模引入了一种新的分类方法：数据驱动的替...
2024-09-09 17:02:22
496
转载 预告 | The Global Data Plane—New Approach of Data Acess
关于我们数据派THU作为数据科学类公众号，背靠清华大学大数据研究中心，分享前沿数据科学与大数据技术创新研究动态、持续传播数据科学知识，努力建设数据人才聚集平台、打造中国大数据最强集团军。新浪微博：@数据派THU微信视频号：数据派THU今日头条：数据派THU...
2024-09-08 17:11:43
46
转载 【KDD2024教程】大语言模型时代下的文本结构化知识自动挖掘
来源：专知本文为论文介绍，建议阅读5分钟在本教程中，我们将介绍使用语言模型进行结构化知识挖掘的最新进展，重点介绍弱监督学习方法。每天都会生成大量的非结构化文本数据，涵盖从新闻文章到科学论文等内容。如何从这些文本数据中挖掘结构化知识依然是一个关键的研究问题。最近，大语言模型（LLMs）凭借其卓越的文本理解能力和指令跟随能力，为文本挖掘领域带来了新的希望。通常有两种利用LLMs的方法：一是通过人工...
2024-09-08 17:11:43
73
转载 KDD 2024 | 检测并优化时序预测中的分布偏移问题
来源：时序人本文约3000字，建议阅读5分钟本文介绍了一种通用的校准方法，用于检测和调整经过训练的模型中的 CDS。近年来，将深度学习模型引入时间序列预测领域取得了显著成功。从数据生成的角度来看，现有模型容易受到时间上下文（无论是否被观测到）驱动的分布偏移的影响。这种由上下文驱动的分布偏移（CDS）会在特定上下文中引入预测偏差，并对传统的训练范式构成挑战。来自浙江大学的研究团队提出了一种通用的...
2024-09-08 17:11:43
154
转载 6种有效的时间序列数据特征工程技术（使用Python）
来源：DeepHub IMBA本文约4500字，建议阅读9分钟在本文将探讨使用日期时间来提取有用信息的各种特征工程技术。在商业分析中，"时间"是一个核心概念。我们基于时间组件来分析销售数据、收入、利润、增长，甚至进行预测。然而，对于初学者来说，这可能是一个复杂的主题。在处理时间敏感的数据集时，需要考虑时间序列数据的多个细微方面。在这个领域，没有放之四海而皆准的方法。我们不必总是强制使用传统的时...
2024-09-08 17:11:43
336
转载 使用 Python TorchRL 进行多代理强化学习（附代码）
来源：DeepHub IMBA本文约2200字，建议阅读5分钟本文将深入探讨如何使用 TorchRL 解决 MARL 问题,重点关注多代理环境中的近端策略优化(PPO)。随着多代理系统的出现,强化学习的复杂性不断增加。为了管理这种复杂性,像 TorchRL 这样的专门工具提供了一个强大的框架,可以开发和实验多代理强化学习(MARL)算法。本文将深入探讨如何使用 TorchRL 解决 MARL ...
2024-09-07 17:00:47
145
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人