2024年6月24日Arxiv机器学习相关论文

cs.LG: 带有对齐正则化的高效图相似性计算

原标题: Efficient Graph Similarity Computation with Alignment Regularization

作者: Wei Zhuo, Guang Tan

机构: 中山大学深圳校区

摘要: 我们考虑基于图编辑距离（GED）估计的图相似性计算（GSC）任务。最先进的方法将GSC视为使用图神经网络（GNN）进行基于学习的预测任务。为了捕捉成对图之间的细粒度交互，这些方法主要包含一个节点级匹配模块在端到端学习流程中，这导致了在训练和推断阶段的高计算成本。我们表明，昂贵的节点对节点匹配模块对于GSC并非必需，可以通过一种简单而强大的正则化技术来获得高质量的学习，我们称之为对齐正则化（AReg）。在训练阶段，AReg项对GNN编码器施加节点-图对应约束。在推断阶段，由GNN编码器学习的图级表示直接用于计算相似性分数，而不再使用AReg以加速推断。我们进一步提出了一个多尺度GED鉴别器来增强学习表示的表达能力。对真实世界数据集的大量实验表明了我们方法的有效性、效率和可转移性。

论文链接: https://arxiv.org/pdf/2406.14929

cs.LG: 隐私保护的血糖水平交叉预测：一种异步分散式联邦学习方法

原标题: Privacy Preserved Blood Glucose Level Cross-Prediction: An Asynchronous Decentralized Federated Learning Approach

作者: Chengzhe Piao, Taiyu Zhu, Yu Wang, Stephanie E Baldeweg, Paul Taylor, Pantelis Georgiou, Jiahao Sun, Jun Wang, Kezhi Li

机构: 伦敦大学学院健康信息学研究所 英国 牛津大学精神病学系 英国 伦敦大学学院糖尿病与内分泌科 英国 伦敦大学学院医院肥胖与代谢中心 英国 伦敦大学学院生物启发技术中心 伦敦帝国学院电子与电气工程系 英国 FLock.io 英国 伦敦大学学院计算机科学系 英国

摘要: 新诊断的1型糖尿病（T1D）患者通常很难获得有效的血糖（BG）预测模型，因为缺乏来自连续血糖监测（CGM）的足够BG数据，这在患者护理中呈现出重要的“冷启动”问题。利用人群模型来解决这一挑战是一个潜在的解决方案，但以隐私保护的方式收集用于训练人群模型的患者数据是具有挑战性的，尤其是考虑到这些数据通常存储在个人设备上。考虑到隐私保护和解决糖尿病护理中的“冷启动”问题，我们提出了“GluADFL”，即通过异步分散式联邦学习进行血糖预测。我们使用包括298名参与者在内的四个不同T1D数据集将GluADFL与八种基准方法进行了比较，结果表明在跨患者分析中准确预测BG水平方面表现出卓越性能。此外，在GluADFL中，患者的数据可以在各种通信网络中存储和共享，从高度互连（例如，随机，在其他方法中表现最佳）到更结构化的拓扑结构（例如，集群和环），适用于各种社交网络。异步训练框架支持灵活的参与。通过调整不活跃参与者的比例，我们发现如果不活跃参与者少于70％，系统仍然稳定。我们的结果证实，GluADFL为T1D中BG预测提供了实用的、隐私保护的解决方案，显著提高了糖尿病管理的质量。

论文链接: https://arxiv.org/pdf/2406.15346

cs.LG: 动态资源分配与客户端调度在分层联邦学习中的应用：一种两阶段深度强化学习方法

原标题: Towards Dynamic Resource Allocation and Client Scheduling in Hierarchical Federated Learning: A Two-Phase Deep Reinforcement Learning Approach

作者: Xiaojing Chen, Zhenyuan Li, Wei Ni, Xin Wang, Shunqing Zhang, Yanzan Sun, Shugong Xu, Qingqi Pei

机构: 清华大学 西安交通大学

摘要: 联邦学习（FL）是一种可行的技术，可以在不共享数据的情况下训练共享的机器学习模型。分层联邦学习（HFL）系统尚未就其多个能源、计算、通信和客户调度级别进行研究，特别是当涉及到依靠能量收集来为其操作供电的客户时。本文提出了一个新的两阶段深度确定性策略梯度（DDPG）框架，称为“TP-DDPG”，以平衡能量收集驱动的HFL系统中FL过程的学习延迟和模型准确性。关键思想是将优化决策分为两组，并在第一阶段使用DDPG学习一组，同时将另一组解释为环境的一部分，为训练第二阶段的DDPG提供奖励。具体来说，DDPG学习参与客户的选择，以及它们的CPU配置和传输功率。一个新的滞后感知客户关联和带宽分配（SCABA）算法有效地优化了其他决策，并评估了DDPG的奖励。实验证明，TP-DDPG可以迅速收敛到有效的策略，从而将HFL的训练时间缩短了39.4％，与其基准相比，当HFL的所需测试准确度为0.9时，可减少可学习参数的数量。

论文链接: https://arxiv.org/pdf/2406.14910

cs.LG: GenoTEX：一个用于评估基于LLM的基因表达数据探索的基准，与生物信息学家的研究保持一致。

原标题: GenoTEX: A Benchmark for Evaluating LLM-Based Exploration of Gene Expression Data in Alignment with Bioinformaticians

作者: Haoyang Liu, Haohan Wang

机构: 伊利诺伊大学香槟分校 School of Information Sciences

摘要: 最近机器学习的进展显著提高了从基因表达数据集中识别与疾病相关的基因的能力。然而，这些过程通常需要广泛的专业知识和手动工作，限制了其可扩展性。基于大语言模型（LLM）的智能体显示出自动化这些任务的潜力，因为它们具有日益增强的问题解决能力。为了支持这些方法的评估和发展，我们介绍了GenoTEX，这是一个用于自动探索基因表达数据的基准数据集，涉及数据集选择、预处理和统计分析等任务。GenoTEX提供了经过注释的代码和结果，用于解决各种基因识别问题，采用了符合计算基因组学标准的完整分析流程。这些注释由人类生物信息学家精心策划，他们对数据集进行仔细分析，以确保准确性和可靠性。为了为这些任务提供基准线，我们提出了GenoAgents，这是一个由基于大语言模型的智能体团队，具有上下文感知规划、迭代修正和领域专家咨询，共同探索基因数据集。我们对GenoAgents的实验显示了LLM方法在基因组数据分析中的潜力，同时错误分析突显了未来改进的挑战和方向。我们提议GenoTEX作为用于基因组数据分析AI驱动方法基准测试和增强的有前途的资源。我们将我们的基准测试公开提供在 \url{this https URL}。

论文链接: https://arxiv.org/pdf/2406.15341

Github: https://github.com/Liu-Hy/GenoTex

cs.LG: 细粒度注意力在分层Transformer中的应用于表格时间序列

原标题: Fine-grained Attention in Hierarchical Transformers for Tabular Time-series

作者: Raphael Azorin, Zied Ben Houidi, Massimo Gallo, Alessandro Finamore, Pietro Michiardi

机构: EURECOM 华为技术

摘要: 表格数据在许多现实生活系统中无处不在。特别是时间相关的表格数据，其中行按时间顺序相关联，通常用于记录历史事件，例如金融交易、医疗记录或股票历史。最近，变种的层次注意力机制被用于建模表格时间序列数据的Transformer架构。首先，通过计算它们字段之间的注意力，分别对行（或列）进行编码。随后，编码后的行（或列）相互关注，以建模整个表格时间序列。尽管高效，这种方法限制了注意力的粒度，并限制了其在跨越独立行或列的字段级别学习模式的能力。我们通过提出Fieldy来首次尝试解决这一差距，这是一个细粒度的层次模型，可以在行和列级别上下文化字段。我们在公共表格时间序列数据集上，将我们的提议与现有的模型进行了比较，包括回归和分类任务。我们的结果显示，结合逐行和逐列注意力可以提高性能，而不增加模型大小。代码和数据可在此https URL找到。

论文链接: https://arxiv.org/pdf/2406.15327

Github: https://github.com/raphaaal/fieldy

cs.LG: Pathformer: 用于复杂逻辑查询回答的递归路径查询编码

原标题: Pathformer: Recursive Path Query Encoding for Complex Logical Query Answering

作者: Chongzhi Zhang, Zhiping Peng, Junhao Zheng, Linghao Wang, Ruifeng Shi, Qianli Ma

摘要: 复杂逻辑查询答案（CLQA）在不完整知识图谱上是一项具有挑战性的任务。最近，提出了查询嵌入（QE）方法来通过执行多跳逻辑推理来解决CLQA。然而，大多数方法只考虑历史查询上下文信息，而忽略未来信息，这导致它们未能捕捉查询元素背后的复杂依赖关系。近年来，Transformer架构展示了在建模词语之间长距离依赖性方面的强大能力。Transformer提出的双向注意机制可以解决QE方法在查询上下文方面的限制。然而，作为一个序列模型，Transformer直接建模具有分支结构计算图的复杂逻辑查询是困难的。为此，我们提出了一种基于树状计算图（即查询计算树）的神经单点嵌入方法，称为Pathformer。具体而言，Pathformer通过分支将查询计算树分解为路径查询序列，然后使用Transformer编码器递归地编码这些路径查询序列，以获得最终的查询嵌入。这使得Pathformer能够充分利用未来的上下文信息，明确地建模路径查询各部分之间的复杂交互。实验结果表明，Pathformer优于现有竞争性的神经QE方法，我们发现Pathformer有潜力应用于非单点嵌入空间。

论文链接: https://arxiv.org/pdf/2406.14880

cs.LG: 训练贪婪策略以在昂贵的多目标组合优化中选择提案批次

原标题: Training Greedy Policy for Proposal Batch Selection in Expensive Multi-Objective Combinatorial Optimization

作者: Deokjae Lee, Hyun Oh Song, Kyunghyun Cho

摘要: 主动学习越来越多地被用于昂贵的多目标组合优化问题，但它涉及一个具有挑战性的子集选择问题，即优化批量获取分数，该分数量化了用于评估的批次的好坏。由于子集选择问题的搜索空间过大，先前的方法在潜在空间上优化批量获取，这与实际空间存在差异，或者优化单个获取分数而不考虑批次中候选项之间的依赖关系，而不是直接优化批量获取。为了管理庞大的搜索空间，一个简单而有效的方法是贪婪方法，它将问题分解为较小的子问题，但由于每个子问题取决于前一个子问题的结果，因此在并行化方面存在困难。为此，我们引入了一种新颖的贪婪式子集选择算法，通过从贪婪策略中进行顺序贪婪抽样，直接在组合空间上优化批量获取。特别是，我们专门训练了一个用于同时解决所有贪婪子问题的贪婪策略。值得注意的是，我们在红色荧光蛋白设计任务上的实验表明，我们提出的方法在较少的查询次数下实现了基准性能，证明了其效率。

论文链接: https://arxiv.org/pdf/2406.14876

cs.LG: 学习极地冰层的时空模式与物理信息图神经网络

原标题: Learning Spatio-Temporal Patterns of Polar Ice Layers With Physics-Informed Graph Neural Network

作者: Zesheng Liu, Maryam Rahnemoonfar

机构: 清华大学 哈尔滨工业大学

摘要: 学习极地冰层的时空模式对于监测冰盖平衡变化和评估冰动力过程至关重要。虽然一些研究人员专注于通过不同的卷积神经网络从由机载雪雷达传感器捕获的回波图像中学习冰层模式，但回波图像中的噪声证明是一个主要障碍。相反，我们专注于基于图神经网络的几何深度学习，从浅层冰层的厚度信息中学习时空模式并对深层进行预测。在本文中，我们提出了一种物理信息融合的混合图神经网络，将GraphSAGE框架用于图特征学习与长短期记忆（LSTM）结构用于学习时间变化相结合，并引入来自Model Atmospheric Regional（MAR）天气模型的物理冰属性测量作为物理节点特征。我们发现，我们提出的网络在预测深层冰层厚度方面可以始终优于当前的非归纳或非物理模型。

论文链接: https://arxiv.org/pdf/2406.15299

cs.LG: 高成本贝叶斯优化中的悲观异步采样

原标题: Pessimistic asynchronous sampling in high-cost Bayesian optimization

作者: Amanda A. Volk, Kristofer G. Reyes, Jeffrey G. Ethier, Luke A. Baldwin

机构: 美国空军研究实验室、布法罗大学

摘要: 异步贝叶斯优化是一种最近实施的技术，允许实验系统和不连贯的工作流并行操作。与串行贝叶斯优化相对，串行贝叶斯优化在为每个实验进行测量后逐个选择实验，而异步策略在可以进行测量之前依次分配多个实验，并在新的测量结果可用时连续评估新的测量结果。这种技术允许更快地生成数据，因此更快地优化实验空间。本研究通过评估四种额外的策略，将异步优化方法的能力扩展到先前研究之外，这些策略在训练数据集中结合了悲观预测。与传统的贪婪策略相结合，这五种策略在模拟环境中进行了评估，并与串行采样进行了基准测试。在某些条件和参数空间维度下，悲观的异步策略在较少的实验中达到了最佳的实验条件，比等效的串行策略更不易收敛到局部最优解。在不考虑更快的采样速率的情况下，本文提出的悲观异步算法可能导致更高成本实验空间的更有效的算法驱动优化。考虑采样率，所提出的异步算法可以在多个实验可以在收集结果之前运行的实验空间中实现更快的优化。

论文链接: https://arxiv.org/pdf/2406.15291

cs.LG: 一个关于利用图数据结构和知识图谱的特征选择策略的综述

原标题: A review of feature selection strategies utilizing graph data structures and knowledge graphs

作者: Sisi Shao, Pedro Henrique Ribeiro, Christina Ramirez, Jason H. Moore

机构: 加州大学洛杉矶分校 医学院 Cedars-Sinai 医疗中心

摘要: 知识图谱（KGs）中的特征选择越来越广泛地应用于多个领域，包括生物医学研究、自然语言处理（NLP）和个性化推荐系统。本文深入探讨了KGs内特征选择的方法论，强调它们在增强机器学习（ML）模型效果、假设生成和可解释性方面的作用。通过这一全面的回顾，我们旨在推动KGs特征选择进一步创新，为各个领域提供更具洞察力、高效和可解释的分析模型。我们的探索揭示了特征选择技术在可伸缩性、准确性和可解释性方面的关键重要性，并主张整合领域知识以优化选择过程。我们突出了多目标优化和跨学科合作在推动KG特征选择方面的潜力，强调这些方法对精准医学等领域的转变性影响。文章最后提出了未来的方向，包括开发可扩展的动态特征选择算法和整合可解释AI原则，以促进KG驱动模型的透明性和信任。

论文链接: https://arxiv.org/pdf/2406.14864

cs.LG: FT-AED：早期高速公路交通异常事件检测的基准数据集

原标题: FT-AED: Benchmark Dataset for Early Freeway Traffic Anomalous Event Detection

作者: Austin Coursey, Junyi Ji, Marcos Quinones-Grueiro, William Barbour, Yuhang Zhang, Tyler Derr, Gautam Biswas

机构: 范德堡大学

摘要: 早期和准确地检测高速公路上的异常事件，如事故，可以改善紧急响应和清理效率。然而，现有的事件识别和报告中存在的延迟和错误使得这一问题难以解决。目前大规模高速公路交通数据集并未专门设计用于异常检测，并忽视了这些挑战。本文介绍了首个用于异常检测的大规模车道级高速公路交通数据集。我们的数据集包括在18英里长的田纳西州纳什维尔往24号州际公路的4条车道上，一个月内平日收集的雷达检测传感器数据，涵盖超过370万个传感器测量。我们还收集了纳什维尔交通管理中心的官方事故报告，并手动标记了数据集中所有其他潜在的异常事件。为展示我们的数据集在未来机器学习和交通研究中的潜力，我们在数据集上对多种深度学习异常检测模型进行了基准测试。我们发现无监督的图神经网络自编码器是解决这一问题的一个有希望的方法，并且忽视空间关系会导致性能下降。我们展示了我们的方法可以将报告延迟平均缩短超过10分钟，并能检测到75%的事故。我们公开发布了数据集及其所有预处理代码，以便促进未来的研究。

论文链接: https://arxiv.org/pdf/2406.15283

其他链接: https://vu.edu/ft-aed/

cs.LG: 开放问题：基于核的强化学习的最优次序遗憾界。

原标题: Open Problem: Order Optimal Regret Bounds for Kernel-Based Reinforcement Learning

作者: Sattar Vakili

机构: 康奈尔大学 MEDIATEK研究

摘要: 强化学习（RL）在各种应用领域中表现出很好的实证成功。过去几十年来，已经广泛研究了问题的理论方面，特别是在表格和线性马尔可夫决策过程结构下。最近，使用基于核的预测进行非线性函数逼近开始受到关注。这种方法特别有趣，因为它自然地扩展了线性结构，并有助于解释神经网络模型在无限宽度极限下的行为。然而，分析结果并未充分解决此案例的性能保证问题。我们将突出这一开放问题，概述现有的部分结果，并讨论相关挑战。

论文链接: https://arxiv.org/pdf/2406.15250

cs.LG: 图边表示通过张量积图卷积表示

原标题: Graph Edge Representation via Tensor Product Graph Convolutional Representation

作者: Bo Jiang, Sheng Ge, Ziyan Zhang, Beibei Wang, Jin Tang, Bin Luo

摘要: 图卷积网络（GCNs）已经被广泛研究。GCNs 的核心是在图上定义卷积操作。然而，现有的图卷积（GC）操作主要是在邻接矩阵和节点特征上定义的，并且通常专注于获取有效的节点嵌入，这些嵌入不能用来处理具有（高维）边特征的图。为了解决这个问题，通过利用张量收缩表示和张量积图扩散理论，本文类比地在具有边特征的图上定义了一种有效的卷积操作，称为张量积图卷积（TPGC）。所提出的TPGC旨在获取有效的边嵌入。它为传统图卷积（GCs）提供了一个补充模型，以处理具有节点和边特征的更一般的图数据分析。在几个图学习任务上的实验结果证明了所提出的TPGC的有效性。

论文链接: https://arxiv.org/pdf/2406.14846

cs.LG: 大批量分析 Adagrad 在各向异性平滑度下

原标题: Large Batch Analysis for Adagrad Under Anisotropic Smoothness

作者: Yuxing Liu, Rui Pan, Tong Zhang

机构: 复旦大学 香港科技大学 伊利诺伊大学厄巴纳-香槟分校

摘要: 自适应梯度算法已被广泛应用于训练大规模深度神经网络，特别是大型基础模型。尽管它们在实践中取得了巨大成功，但它们相对于随机梯度下降（SGD）的理论优势尚未被充分理解，特别是在实践中常用的大批量设置中。这是因为能够证明Adagrad相对于SGD的优势的唯一理论结果是在Adagrad的原始论文中获得的，用于非光滑目标函数。然而，对于非光滑目标函数，当批量大小增加时，可能会出现收敛速度线性减慢，因此基于非光滑假设的收敛分析不能用于大批量算法。在这项工作中，我们通过对适用于大批量设置的凸和非凸光滑目标的Adagrad进行新的分析，解决了理论和实践之间的差距。结果表明，在各向异性光滑度和噪声条件下，增加批量大小不会减慢Adagrad的收敛速度，因此即使在大批量设置中，它仍然可以实现比SGD更快的收敛保证。我们对SGD和Adagrad进行了详细的比较，以更好地理解自适应梯度方法的优势。逻辑回归和指令跟随微调任务的实验提供了强有力的证据来支持我们的理论分析。

论文链接: https://arxiv.org/pdf/2406.15244

cs.LG: ExDAG: DAG 的精确学习

原标题: ExDAG: Exact learning of DAGs

作者: Pavel Rytíř, Aleš Wodecki, Jakub Mareček

机构: 捷克理工大学布拉格分校 Faculty of Electrical Engineering

摘要: 有关因果学习近年来引起了越来越多的关注。常用的因果结构表示，包括贝叶斯网络和结构方程模型（SEM），采用有向无环图（DAG）的形式。我们提出了一种新颖的混合整数二次规划表达式及其相关算法，可识别多达50个顶点的DAG，前提是这些结构是可识别的。我们称这种方法为ExDAG，即精确学习DAG。尽管存在阻止循环形成的超指数约束，该算法会添加由已找到的解违反的约束，而不是在每个连续值放松中施加所有约束。我们的实证结果显示，ExDAG在精确度方面优于当地最先进的求解器，并且在考虑高斯噪声时，在规模上优于最先进的全局求解器。我们还验证了其他噪声分布的情况。

论文链接: https://arxiv.org/pdf/2406.15229

cs.LG: DN-CL：通过对比学习进行的深度符号回归抗噪声

原标题: DN-CL: Deep Symbolic Regression against Noise via Contrastive Learning

作者: Jingyi Liu, Yanjie Li, Lina Yu, Min Wu, Weijun Li, Wenqiang Li, Meilan Hao, Yusong Deng, Shu Wei

机构: 中国科学院半导体研究所 AnnLab、中国科学院大学、深圳市大学

摘要: 噪声普遍存在于信号中，由于包括物理、电子和环境等多种因素。传统的符号回归方法，如遗传编程或深度学习模型，旨在找到这些信号的最适合的表达式。然而，这些方法经常忽视现实数据中存在的噪声，导致拟合精度降低。为了解决这个问题，我们提出了通过对比学习进行噪声的深度符号回归（DN-CL）。DN-CL采用两个参数共享编码器，将来自各种数据变换的数据点嵌入到抵御噪声的特征屏障中。该模型将有噪声的数据和干净的数据视为地面真实数学表达式的不同视图。利用对比学习最小化这些特征之间的距离，以区分“正面”噪声校正对和“负面”对比对。我们的实验表明，DN-CL在处理有噪声和干净数据方面表现出优越的性能，是一种有前途的符号回归方法。

论文链接: https://arxiv.org/pdf/2406.14844

cs.LG: 通过复合触发后门在文本到图像模型中注入偏见

原标题: Injecting Bias in Text-To-Image Models via Composite-Trigger Backdoors

作者: Ali Naseh, Jaechul Roh, Eugene Bagdasaryan, Amir Houmansadr

机构: 马萨诸塞大学阿默斯特分校

摘要: 最近在大文本条件图像生成模型方面的进展，如 Stable Diffusion、Midjourney 和 DALL-E 3 已经彻底改变了图像生成领域，使用户能够从文本提示中生成高质量、逼真的图像。虽然这些发展提升了艺术创作和视觉传达，但也呈现出一个未经深入探讨的攻击机会：通过对生成的图像进行偏见注入，以恶意意图诱导社会并传播宣传。在本文中，我们演示了通过少量恶意数据样本向这些模型植入后门的偏见注入威胁的可能性；当输入提示中存在特殊触发器时，实施的后门将被激活。另一方面，在缺乏触发器的情况下，模型的效用得到保留，使攻击极难被检测到。我们提出了一个新颖的框架，能够有效生成带有复合（多词）触发器的毒化样本，用于此类攻击。我们进行了大量实验，使用超过100万个生成的图像，并针对数百个经过精细调整的模型，证明了所提出的后门攻击的可行性。我们阐明了这些偏见如何绕过常规检测机制，突显了在操作约束条件下证明偏见存在的挑战。我们的成本分析证实了执行此类攻击的低财务壁垒，强调了对文本到图像生成模型的此类漏洞需要强大的防御策略。

论文链接: https://arxiv.org/pdf/2406.15213

cs.LG: 球面扩散概率仿真全球气候模型

原标题: Probabilistic Emulation of a Global Climate Model with Spherical DYffusion

作者: Salva Rühling Cachay, Brian Henn, Oliver Watt-Meyer, Christopher S. Bretherton, Rose Yu

机构: 加州大学圣地亚哥分校 爱伦人工智能研究所

摘要: 数据驱动的深度学习模型即将改变全球天气预报。目前尚不清楚这种成功是否可以延伸到气候建模领域，那里长时间推断和数据复杂性带来了重大挑战。在这里，我们提出了第一个能够产生准确且物理一致的全球气候集合模拟的条件生成模型。我们的模型以6小时为时间步长运行，并且在10年的模拟中表现稳定。我们的方法击败了相关基线，并几乎达到了成功的气候模型仿真的黄金标准。我们讨论了我们基于动力学信息扩散模型的方法背后的关键设计选择，这使得我们朝着高效、数据驱动的气候模拟迈出了重要一步，这有助于我们更好地了解地球并适应气候变化。

论文链接: https://arxiv.org/pdf/2406.14798

cs.LG: 因果学习在生物医学应用中

原标题: Causal Learning in Biomedical Applications

作者: Petr Ryšavý, Xiaoyu He, Jakub Mareček

机构: 捷克理工大学布拉格分校 人工智能中心

摘要: 我们提出了因果学习方法的基准。具体来说，我们考虑从时间序列数据中训练丰富的因果模型，并建议使用克雷布斯循环和更广泛的新陈代谢模型。

论文链接: https://arxiv.org/pdf/2406.15189

cs.LG: 忠实性在常规、自解释和领域不变的GNN中的优缺点

原标题: Perks and Pitfalls of Faithfulness in Regular, Self-Explainable and Domain Invariant GNNs

作者: Steve Azzolin, Antonio Longa, Stefano Teso, Andrea Passerini

机构: 特伦托大学 DISI CIMeC

摘要: 随着图神经网络（GNNs）变得更加普遍，构建计算其预测解释的强大工具变得至关重要。一个关键的愿望是这些解释是忠实的，即它们描绘了GNN推理过程的准确图景。存在许多不同的忠实度度量标准，这引发了一个问题，即忠实度到底是什么，它的特性是什么。我们首先展示现有的度量标准并不可互换–即，根据一个度量标准获得高忠实度的解释可能在其他度量标准下是不忠实的–并且可能对解释的重要特性系统地不敏感，并建议如何解决这些问题。我们继续展示，令人惊讶的是，优化忠实度并不总是一个明智的设计目标。具体而言，我们展示了对于可递的常规GNN架构，完全忠实的解释是完全无信息的。对于模块化GNNs，如自解释和域不变架构，情况则不同，优化忠实度并不会损害信息量，并且出乎意料地与超出分布的泛化能力相关联。

论文链接: https://arxiv.org/pdf/2406.15156

cs.LG: MU-Bench：一个用于机器遗忘的多任务多模态基准测试

原标题: MU-Bench: A Multitask Multimodal Benchmark for Machine Unlearning

作者: Jiali Cheng, Hadi Amiri

机构: 马萨诸塞大学洛厄尔分校

摘要: 最近在机器遗忘（MU）领域的进展引入了解决方案，可以选择性地从训练模型中删除某些训练样本，例如那些包含过时或敏感信息的样本。尽管取得了这些进展，但是对于MU方法的评估却存在不一致性，采用了不同的训练模型和架构，以及样本删除策略，这阻碍了准确的比较。此外，先前的MU方法主要集中在单一任务或模态上，这并不全面。为了解决这些限制，我们开发了MU-Bench，这是第一个针对MU的全面基准测试，它（i）统一了删除样本和训练模型的集合，（ii）提供了广泛的任务和数据模态覆盖，包括先前未开发的领域，如语音和视频分类。我们的评估表明，RandLabel和SalUn是MU-Bench上最有效的通用MU方法，而BadT和SCRUB能够在删除集上实现随机性能。我们分析了遗忘的几个未被充分研究的方面，包括可扩展性、参数高效微调和课程学习的影响，以及对数据集偏见的敏感性。MU-Bench提供了一个易于使用的软件包，其中包括数据集拆分、模型和实现，以及一个排行榜，以促进统一和可扩展的MU研究。

论文链接: https://arxiv.org/pdf/2406.14796

cs.LG: 生成拓扑网络

原标题: Generative Topological Networks

作者: Alona Levy-Jurgenson, Zohar Yakhini

机构: 瑞曼大学 Reichman University

摘要: 生成模型在近年来取得了显著的进展，但通常仍然具有挑战性和高昂的训练和使用成本。我们介绍了生成拓扑网络（GTNs）——一种新的生成模型类别，可以解决这些缺点。GTNs是通过一种基于拓扑理论的简单监督学习方法进行确定性训练的。GTNs训练速度快，只需要在标准前向神经网络中进行单次前向传播即可生成样本。我们在几个数据集中展示了GTNs的优势，包括MNIST、celebA和Hands and Palm Images数据集。最后，GTNs背后的理论提供了如何训练生成模型以提高性能的见解。

论文链接: https://arxiv.org/pdf/2406.15152

cs.LG: KalMamba：面向强化学习不确定性下高效概率状态空间模型

原标题: KalMamba: Towards Efficient Probabilistic State Space Models for RL under Uncertainty

作者: Philipp Becker, Niklas Freymuth, Gerhard Neumann

机构: 卡尔斯鲁厄理工学院

摘要: 概率状态空间模型（SSM）在从高维度、部分信息中进行强化学习（RL）中至关重要，因为它们为控制提供了简洁的表示。然而，它们在计算效率上缺乏最近的确定性对应物，如S4或Mamba。我们提出了KalMamba，一种有效的架构，用于学习强化学习的表示，结合了概率SSM的优势和确定性SSM的可扩展性。KalMamba利用Mamba在潜在空间中学习线性高斯SSM的动态参数。在这个潜在空间中的推断等同于标准的卡尔曼滤波和平滑处理。我们使用并行联想扫描（类似于Mamba）来实现这些操作，从而获得一个合理、高效和可扩展的概率SSM。我们的实验表明，KalMamba在强化学习中与最先进的SSM方法竞争，同时显著提高了计算效率，特别是在更长的交互序列上。

论文链接: https://arxiv.org/pdf/2406.15131

cs.LG: 接受联合学习：通过部分模型训练实现弱客户参与

原标题: Embracing Federated Learning: Enabling Weak Client Participation via Partial Model Training

作者: Sunwoo Lee, Tuo Zhang, Saurav Prakash, Yue Niu, Salman Avestimehr

机构: 仁荷大学 美国南加州大学 伊利诺伊大学厄巴纳-香槟分校

摘要: 在联邦学习（FL）中，客户端可能拥有无法训练完整模型甚至无法在其内存空间中保存完整模型的弱设备。因此，为了实现大规模的FL应用，至关重要的是开发一种分布式学习方法，使这些弱客户端能够参与其中。我们提出了EmbracingFL，这是一个通用的FL框架，允许所有可用的客户端加入分布式训练，而不考虑其系统资源容量。该框架建立在一种新颖的部分模型训练方法之上，其中每个客户端训练尽可能多的连续输出端层，以适应其系统资源。我们的研究表明，EmbracingFL鼓励每一层在客户端之间具有类似的数据表示，提高了FL的效率。所提出的部分模型训练方法保证了对于非凸和光滑问题的收敛到稳定点的邻域。我们在各种设置下评估了EmbracingFL的有效性，包括强、中等（约40%内存）和弱（约15%内存）客户端的混合数量、数据集（CIFAR-10、FEMNIST和IMDB）和模型（ResNet20、CNN和LSTM）。我们的实证研究表明，EmbracingFL始终能够像所有客户端都是强一样实现高准确性，优于最先进的宽度缩减方法（即HeteroFL和FjORD）。

论文链接: https://arxiv.org/pdf/2406.15125

cs.LG: 一个可证明高效的选项算法，用于高层次和低层次学习

原标题: A Provably Efficient Option-Based Algorithm for both High-Level and Low-Level Learning

作者: Gianluca Drappo, Alberto Maria Metelli, Marcello Restelli

机构: 米兰理工大学 Politecnico di Milano

摘要: 分层强化学习（HRL）方法已经在解决各种复杂、结构化、长期问题上取得了成功的结果。然而，目前对这一经验证据的完整理论理解尚不清楚。在“选项”框架的背景下，先前的研究已经为选项固定的情况设计了高效的算法，并且只需要学习在选项之间进行选择的高层策略。然而，从理论角度出发，对于同时学习高层和低层策略的完全现实情景却令人意外地被忽视了。本文向理解后一种情景迈出了一步。针对有限时间问题，我们提出了一种元算法，交替使用不同（高和低）时间抽象的遗憾最小化算法。在更高的层次上，我们将问题视为半马尔可夫决策过程（SMDP），其中低层策略固定，而在更低的层次上，内部选项策略则是在固定的高层策略下学习的。所得到的界限与非分层有限时间问题的下界进行了比较，从而可以确定分层方法何时可以被证明为更可取，即使没有预先训练的选项。

论文链接: https://arxiv.org/pdf/2406.15124

cs.LG: 深度多模态融合在混合类型时间序列中的交互方式如何影响性能

原标题: How Intermodal Interaction Affects the Performance of Deep Multimodal Fusion for Mixed-Type Time Series

作者: Simon Dietz, Thomas Altstidl, Dario Zanca, Björn Eskofier, An Nguyen

机构: 弗里德里希-亚历山大大学纽伦堡（FAU Erlangen-Nürnberg）

摘要: 混合型时间序列（MTTS）是一种双模态数据类型，在许多领域中很常见，如医疗保健、金融、环境监测和社交媒体。它由定期采样的连续时间序列和不定期采样的分类事件序列组成。通过多模态融合整合两种模态是处理MTTS的一种有前途的方法。然而，如何有效地融合这两种模态的问题仍然是开放的。在本文中，我们对几种用于MTTS预测的深度多模态融合方法进行了全面评估。我们的比较包括三种融合类型（早期、中间和后期）和五种融合方法（串联、加权平均、带相关性的加权平均、门控和特征共享）。我们在三个不同的数据集上评估了这些融合方法，其中一个是使用新框架生成的。该框架允许控制关键数据属性，如模态间相互作用的强度和方向、模态不平衡以及每个模态中随机性的程度，为测试融合方法提供了更受控制的环境。我们的研究结果表明，不同的融合方法的性能可以受到模态间相互作用的方向和强度的显著影响。研究表明，早期和中间融合方法分别擅长捕捉细粒度和粗粒度的跨模态特征。这些发现强调了模态间相互作用在确定MTTS预测最有效的融合策略中的关键作用。

论文链接: https://arxiv.org/pdf/2406.15098

cs.LG: 目标：通用组合优化智能体学习者

原标题: GOAL: A Generalist Combinatorial Optimization Agent Learner

作者: Darko Drakulic, Sofia Michel, Jean-Marc Andreoli

机构: NAVER LABS Europe

摘要: 基于机器学习的启发式算法最近在解决各种困难的组合优化问题（COPs）方面表现出了令人印象深刻的性能。然而，它们通常依赖于单独的神经模型，专门针对每个单独的问题进行专门设计和训练。问题的任何变化都需要调整其模型并从头开始重新训练。在本文中，我们提出了GOAL（通用组合优化智能体学习），这是一个通用模型，能够高效地解决多个COPs，并且可以进行微调以解决新的COPs。GOAL由一个单一的骨干加上轻量级的问题特定适配器组成，主要用于输入和输出处理。骨干基于一种新形式的混合注意力块，可以处理基于图的问题，其中包括节点、边和实例级特征的任意组合。此外，涉及异构节点或边的问题，例如多部分图中的问题，通过一种新颖的多类型Transformer架构进行处理，其中注意力块被复制以仅关注相关类型的组合，同时依赖于相同的共享参数。我们在一组路由、调度和经典图问题上训练GOAL，并展示它与专门基准模型仅略有差距，同时也是第一个解决各种COPs的多任务模型。最后，我们展示了GOAL的强大迁移学习能力，通过少量数据进行微调或学习适配器来解决新问题。

论文链接: https://arxiv.org/pdf/2406.15079

cs.LG: 神经增量数据同化

原标题: Neural Incremental Data Assimilation

作者: Matthieu Blanke, Ronan Fablet, Marc Lelarge

摘要: 数据同化在许多地球物理应用中是一个核心问题，如天气预报。它旨在从稀疏观测中估计大系统（如大气）的状态，辅以先前的物理知识。所涉系统的规模和基础物理方程的复杂性使得从计算角度来看这是一项具有挑战性的任务。神经网络代表了一种有前景的方法，可以以较低成本模拟物理过程，因此有潜力显著改进和加速数据同化。在这项工作中，我们引入了一种深度学习方法，其中物理系统被建模为一系列由神经网络参数化的粗到细的高斯先验分布。这使我们能够定义一个同化操作符，该操作符经过端到端训练，以在具有不同观测过程的数据集上最小化重建误差。我们在具有稀疏观测的混沌动力学物理系统上展示了我们的方法，并将其与传统的变分数据同化方法进行了比较。

论文链接: https://arxiv.org/pdf/2406.15076

cs.LG: 潜空间翻译通过逆相对投影

原标题: Latent Space Translation via Inverse Relative Projection

作者: Valentino Maiorca, Luca Moschella, Marco Fumero, Francesco Locatello, Emanuele Rodolà

机构: 1 2Luca Moschella* 1 2Marco Fumero1 2Francesco Locatello2Emanuele Rodol `a1
Moschella et al. - 穆斯凯拉等人
Maiorca et al. - 迈奥卡等人

摘要: 独立训练的神经模型之间出现类似表示的出现引起了表示学习社区的极大兴趣，导致了各种方法的发展，以获得潜在空间之间的通信。 "潜在空间通信"可以通过两种方式实现：i) 通过独立将原始空间映射到共享或相关空间；ii) 通过直接估计从源潜在空间到目标空间的转换。在这项工作中，我们将这两种方式结合起来，形成一种通过相关空间获得潜在空间转换的新方法。通过形式化保角相关表示的可逆性，并假设神经模型中解码器模块的尺度不变性，我们可以有效地使用相关空间作为中介，独立地投影到其他语义相似的空间，并从中投影出来。对各种架构和数据集的大量实验证实了我们的尺度不变性假设，并展示了我们的方法在潜在空间转换中的高准确性。我们还将我们的方法应用于任意预训练文本和图像编码器及其分类器之间的零样本拼接，甚至跨模态。我们的方法在通过组合性实现模型的实际重用方面具有重要潜力。

论文链接: https://arxiv.org/pdf/2406.15057

cs.LG: 从过拟合到鲁棒性：图对比学习中定向负样本选择的数量、质量和多样性

原标题: From Overfitting to Robustness: Quantity, Quality, and Variety Oriented Negative Sample Selection in Graph Contrastive Learning

作者: Adnan Ali, Jinlong Li, Huanhuan Chen, Ali Kashif Bashir

机构: 中国科学技术大学 曼彻斯特都会大学

摘要: 图对比学习（GCL）旨在对比正负对应项以学习节点嵌入，而图数据增强方法则用于生成这些正负样本。与正样本相比，负样本的变化、数量和质量对学习下游任务中节点分类的有意义嵌入起着至关重要的作用。较少的变化、过多的数量和质量低下的负样本会导致模型对特定节点过拟合，从而得到不太稳健的模型。为解决GCL范式中的过拟合问题，本研究提出了一种新的累积样本选择（CSS）算法，全面考虑负样本的质量、变化和数量。首先，构建三个负样本池：简单、中等和困难负样本，分别包含总可用负样本的25%、50%和25%。然后，从这三个负样本池中各选择10%的负样本用于模型训练。之后，决策智能体模块评估模型训练结果，并决定是否通过增加比例来探索更多负样本或保持当前抽样比例来解决过拟合问题。提出的算法集成到了名为NegAmplify的图对比学习框架中。NegAmplify与SOTA方法在九个图节点分类数据集上进行比较，其中七个数据集的节点分类准确率提升了最多达到2.86%。

论文链接: https://arxiv.org/pdf/2406.15044

cs.LG: 发现多视角数据中的共同信息

原标题: Discovering Common Information in Multi-view Data

作者: Qi Zhang, Mingfei Lu, Shujian Yu, Jingmin Xin, Badong Chen

机构: 西安交通大学 中国 UiT - 北极大学 挪威 Vrije Universiteit Amsterdam 荷兰

摘要: 我们引入了一种创新的、数学严谨的定义，用于从多视角数据中计算共同信息，灵感来自信息论中的Gács-Körner共同信息。利用这个定义，我们开发了一种新颖的监督式多视角学习框架，以捕捉共同信息和独特信息。通过明确地最小化总相关性项，从每个视角提取的共同信息和独特信息被迫彼此独立，从而在理论上保证了我们框架的有效性。为了估计信息论量，我们的框架采用基于矩阵的R{é}nyi的$\alpha$阶熵函数，这消除了在高维空间中需要变分逼近和分布估计的需求。理论证明表明，我们的框架能够忠实地从多视角数据中发现共同信息和独特信息。对合成和七个基准真实世界数据集的实验表明，我们提出的框架相对于最先进的方法具有卓越的性能。

论文链接: https://arxiv.org/pdf/2406.15043

cs.LG: 行为提取

原标题: Behaviour Distillation

作者: Andrei Lupu, Chris Lu, Jarek Liesen, Robert Tjarko Lange, Jakob Foerster

机构: 牛津大学 Meta AI 柏林工业大学

摘要: 数据集精炼旨在将大型数据集压缩成少量合成示例，这些示例可以在训练新模型时用作即插即用的替代品。它适用于可解释性、神经架构搜索、隐私和持续学习。尽管在监督领域取得了巨大成功，但这些方法尚未扩展到强化学习，因为缺乏固定数据集使大多数精炼方法无法使用。为了填补这一空白，我们正式提出了行为精炼，这一设置旨在发现并压缩训练专家策略所需的信息成为一个合成数据集，而无需访问专家数据。然后，我们介绍了具有进化策略的幻觉数据集（HaDES），这是一种行为精炼方法，可以发现仅由四个状态-动作对组成的数据集，这些数据集在监督学习下可以训练代理在连续控制任务中达到竞争性表现水平。我们展示了这些数据集可以推广到具有各种架构和超参数的训练策略的分布之外。我们还展示了一个下游任务的应用，即以零样本方式训练多任务代理。除了行为精炼，HaDES在强化学习的神经进化方面相比以前的方法有了显著的改进，并在一个标准的监督数据集精炼任务上取得了最新技术的结果。最后，我们展示了可视化合成数据集可以提供人类可解释的任务见解。

论文链接: https://arxiv.org/pdf/2406.15042

cs.LG: 使用神经网络清洗天气数据集

原标题: Using Neural Networks for Data Cleaning in Weather Datasets

作者: Jack R. P. Hanslope, Laurence Aitchison

机构: Hanslope1Laurence Aitchison1
ERA5 IBTrACS

摘要: 在气候科学中，我们经常希望比较不同数据集之间的差异。由于观测数据与再分析数据之间或不同再分析数据之间不可避免的不匹配，这可能会导致困难。这种不对齐可能会对试图从一个数据集推断另一个数据集的任何工作造成问题。我们以热带气旋位置为例，一个数据集提供大气条件（ERA5），另一个提供风暴轨迹（IBTrACS）。我们发现，虽然示例通常对齐得很好，但约有25%存在不良对齐的情况。我们训练了一个神经网络，将风场映射到风暴位置；在这种情况下，数据集的不对齐表现为“标签噪音”（即标记的风暴位置与底层风场不对应）。我们发现，这个神经网络仅基于IBTrACS通常嘈杂的标签进行训练具有去噪效果，并且在人类偏好的衡量标准下表现优于IBTrACS标签本身。值得注意的是，即使是训练点上，我们也可能预期网络会过度拟合IBTrACS的预测，但这种情况仍然成立。

论文链接: https://arxiv.org/pdf/2406.15027

cs.LG: 对称不变 Transformer 用于强化学习中的泛化

原标题: SiT: Symmetry-Invariant Transformers for Generalisation in Reinforcement Learning

作者: Matthias Weissenbacher, Rishabh Agarwal, Yoshinobu Kawahara

摘要: 一个在强化学习中的开放挑战是将训练好的策略有效地部署到新的或略有不同的情境以及语义相似的环境中。我们引入了对称不变 Transformer（SiT），这是一种可扩展的视觉 Transformer（ViT），它以自监督方式利用局部和全局数据模式来提升泛化能力。我们方法的核心是图对称注意力（Graph Symmetric Attention），它改进了传统的自注意机制以保留图的对称性，从而产生不变和等变的潜在表示。我们展示了 SiT 在 MiniGrid 和 Procgen 强化学习基准测试中相对于 ViTs 的优越泛化能力，以及在 Atari 100k 和 CIFAR10 上的样本效率。

论文链接: https://arxiv.org/pdf/2406.15025

cs.LG: 概率和可微无线仿真与几何Transformer

原标题: Probabilistic and Differentiable Wireless Simulation with Geometric Transformers

作者: Thomas Hehn, Markus Peschl, Tribhuvanesh Orekondy, Arash Behboodi, Johann Brehmer

机构: 高通人工智能研究所

摘要: 建模电磁信号传播对设计现代通信系统至关重要。虽然基于射线追踪的精确仿真器存在，但它们不利于解决反问题或集成到自动化设计循环中。我们提出通过可微分神经替代模型来应对这些挑战，这些模型利用问题的几何特性。首先，我们引入了无线几何代数变压器（Wi-GATr），这是一个通用的骨干架构，用于模拟三维环境中的无线传播。它使用基于几何代数的多功能表示，并且在 E(3) 对称群（作为底层物理的对称群）下是等变的。其次，我们研究了两种基于可微预测建模和扩散模型的信号预测和反问题算法。我们展示了这些方法如何帮助我们预测接收功率、定位接收器并从接收信号中重建三维环境。最后，我们介绍了两个大型、以几何为重点的室内无线信号传播数据集。在实验中，我们展示了我们的几何前向方法比多种基线模型使用更少数据实现了更高保真度的预测。

论文链接: https://arxiv.org/pdf/2406.14995

cs.LG: 主要会议论文集的分层主题分类

原标题: Hierarchical thematic classification of major conference proceedings
作者: Arsentii Kuzmin, Alexander Aduenko, Vadim Strijov

机构: 莫斯科国立大学

摘要: 在这篇论文中，我们开发了一个用于分层文本分类的决策支持系统。我们考虑的是由专家以树形结构给定的文本集合。该系统根据给定文档与主题的相关性对主题进行排序。专家选择最相关的主题完成分类。我们提出了一种加权分层相似性函数来计算主题相关性。该函数计算文档和树枝之间的相似性。函数中的权重决定了单词的重要性。我们使用单词的熵来估计这些权重。

提出的分层相似性函数制定了文档主题、参数和超参数的联合分层主题分类概率模型。变分贝叶斯推断提供了闭合形式的EM算法。EM算法估计参数并计算给定文档的主题概率。与分层多类支持向量机、具有自适应正则化的分层PLSA和分层朴素贝叶斯相比，加权分层相似性函数在欧洲主要会议摘要集合和工业公司网站集合中的排名准确性有显著改进。

论文链接: https://arxiv.org/pdf/2406.14983

cs.LG: Uni-Mol2：在规模上探索分子预训练模型

原标题: Uni-Mol2: Exploring Molecular Pretraining Model at Scale

作者: Xiaohong Ji, Wang Zhen, Zhifeng Gao, Hang Zheng, Linfeng Zhang, Guolin Ke, Weinan E

机构: 北京大学 中国 科技部 京东方科技

摘要: 近年来，预训练模型在自然语言处理（NLP）、计算机视觉（CV）和生命科学领域取得了显著进展。NLP和CV领域的显著进展主要是由模型参数和数据规模的扩展驱动的，这一现象现在被称为缩放定律。然而，对分子预训练模型中的缩放定律的研究尚未被探索。在这项工作中，我们提出了Uni-Mol2，一种创新的分子预训练模型，它利用了双轨Transformer来有效地整合原子级、图级和几何结构级的特征。除此之外，我们还系统地研究了分子预训练模型中的缩放定律，描述了验证损失与模型大小、数据集大小和计算资源之间的幂律相关性。因此，我们成功地将Uni-Mol2扩展到了11亿个参数，通过在8亿个构象上进行预训练，使其成为迄今为止最大的分子预训练模型。大量实验证明，随着模型大小的增长，Uni-Mol2在下游任务中表现出持续的改进。具有11亿个参数的Uni-Mol2还优于现有方法，在QM9和COMPAS-1D数据集上平均提高了27%和14%。

论文链接: https://arxiv.org/pdf/2406.14969

cs.LG: 优化的分组查询注意力机制适用于Transformer

原标题: Optimised Grouped-Query Attention Mechanism for Transformers

作者: Yuang Chen, Cheng Zhang, Xitong Gao, Robert D. Mullins, George A. Constantinides, Yiren Zhao

机构: 清华大学 剑桥大学 伦敦大学 Imperial College London

摘要: 分组查询注意力（GQA）已被广泛应用于大语言模型（LLMs）中，以减少多头注意力（MHA）的复杂性。将MHA转换为GQA时，MHA中的相邻查询被均匀分成多个组，其中每个组共享值和键层。在本工作中，我们提出了AsymGQA，这是一种激活信息驱动的方法，用于将MHA异构分组为GQA，以提升模型性能。我们的AsymGQA在相同模型大小预算下优于GQA。例如，与相邻分组相比，AsymGQA LLaMA-2-7B 在MMLU上的准确率提高了7.5%。我们的方法解决了GQA在模型性能和硬件效率之间的折衷问题。

论文链接: https://arxiv.org/pdf/2406.14963

cs.LG:在野外的零样本虚拟试穿中的遮蔽扩展注意力

原标题: Masked Extended Attention for Zero-Shot Virtual Try-On In The Wild

作者: Nadav Orzech, Yotam Nitzan, Ulysse Mizrahi, Dov Danon, Amit H. Bermano

机构: 特拉维夫大学 Tel Aviv University

摘要: 虚拟试穿（VTON）是一项非常活跃的研究领域，需求不断增加。它旨在用另一件衣物替换图像中的一件衣物，同时保留人物和衣物特征以及图像保真度。当前文献对此任务采用监督方法，限制了泛化能力并增加了计算负担。本文提出了一种新颖的零样本训练无需方法，用于通过参考进行衣物修复。我们的方法利用扩散模型的先验知识，完全发挥其本身的泛化能力。该方法采用了扩展注意力机制，从参考图像向目标图像转移图像信息，克服了两个重要挑战。首先，我们通过深度特征将参考衣物初始化地覆盖到目标人体上，减轻了“贴图”效应。然后，我们利用精心设计的掩膜的扩展注意力机制，消除了参考背景和不必要影响的泄漏。通过用户研究、定性和定量与最先进方法的比较，我们展示了优于未见过的服装或人物的图像质量和服装保留能力。

论文链接: https://arxiv.org/pdf/2406.15331

cs.LG: 时间离散化在强化学习中的特殊性

原标题: An Idiosyncrasy of Time-discretization in Reinforcement Learning

作者: Kris De Asis, Richard S. Sutton

机构: 阿尔伯塔大学

摘要: 许多强化学习算法基于这样一个假设：一个智能体在固定持续时间的离散时间步长内与环境进行交互。然而，物理系统在时间上是连续的，当数字化控制它们时需要选择时间离散化的粒度。此外，这种系统在推进环境状态时不等待决策的制定，因此需要研究离散化选择可能如何影响强化学习算法。在这项工作中，我们考虑了连续时间和离散时间回报定义之间的关系。具体而言，我们承认了将离散时间算法朴素地应用于离散化连续时间环境时的特殊性，并注意到如何通过简单修改来更好地对齐回报定义。在处理时间离散化粒度是选择性的环境或这种粒度固有随机的情况下，这一观察是实际考虑的内容。

论文链接: https://arxiv.org/pdf/2406.14951

cs.LG: 对近似ReLU神经网络参数的增长情况

原标题: On the growth of the parameters of approximating ReLU neural networks

作者: Erion Morina, Martin Holler

摘要: 这项工作侧重于分析全连接的前馈ReLU神经网络，因为它们逼近给定的平滑函数。与传统研究中关于网络宽度或深度等不断增加的通用逼近性质相比，我们关注逼近网络参数的渐近增长。这样的结果对于错误分析或神经网络训练的一致性结果等方面是感兴趣的。我们工作的主要结果是，对于具有最先进逼近误差的ReLU架构，实现参数的增长至多是多项式的。关于标准化网络规模的获得速率与现有结果进行了比较，并且在大多数情况下被证明是优越的，特别是对于高维输入。

论文链接: https://arxiv.org/pdf/2406.14936

cs.LG: HLQ: 通过Hadamard低秩量化实现快速高效的反向传播

原标题: HLQ: Fast and Efficient Backpropagation via Hadamard Low-rank Quantization

作者: Seonggon Kim, Eunhyeok Park

机构: 浦项工科大学

摘要: 随着模型规模的快速增长和各种微调应用的日益重要，轻量级训练变得至关重要。由于反向传播的计算开销是前向传播的两倍，因此优化反向传播尤为重要。然而，对这一过程的修改可能导致次优收敛，因此训练优化应该最小化扰动，这是一个极具挑战性的任务。在本研究中，我们介绍了一种名为Hadamard低秩量化（HLQ）的新型优化策略，重点是减少卷积和线性层中反向传播的成本。我们首先分析了梯度计算对激活和权重的敏感性，并精心设计了HLQ流程，将4位Hadamard量化应用于激活梯度，并将Hadamard低秩逼近应用于权重梯度。这种组合被发现对最大化收益最为有效，我们广泛的实验表明了HLQ在从头开始训练和微调中的出色性能，实现了显著的内存节省和在真实GPU上的加速，质量下降可以忽略不计。

论文链接: https://arxiv.org/pdf/2406.15102

cs.LG: 朝向使用端到端强化学习实现通用谈判策略

原标题: Towards General Negotiation Strategies with End-to-End Reinforcement Learning

作者: Bram M. Renting, Thomas M. Moerland, Holger H. Hoos, Catholijn M. Jonker

机构: 莱顿大学 大工科技大学 阿琛工业大学

摘要: 自动化谈判的研究领域长期以来一直致力于设计能够与其他代理进行谈判的智能体。这种谈判策略传统上基于手动设计和启发式方法。最近，强化学习方法也被用来训练代理进行谈判。然而，谈判问题多种多样，导致观察和行动维度发生变化，这不能被默认的线性策略网络处理。在这个主题上的先前工作要么通过固定谈判问题来规避这个问题，导致策略在谈判问题之间无法转移，要么通过将观察和行动抽象成固定大小的表示来规避这个问题，导致由于特征设计而丢失信息和表达能力。我们通过将观察和行动表示为图形，并在策略中应用图神经网络，开发了一种用于多样化谈判问题的端到端强化学习方法。通过实证评估，我们展示了我们的方法是有效的，我们可以学会与其他代理在以前从未见过的谈判问题上进行谈判。我们的结果为谈判智能体中的强化学习开辟了新的机会。

论文链接: https://arxiv.org/pdf/2406.15096

cs.LG: Tempora-Fusion: 时间锁谜题与高效可验证同态线性组合

原标题: Tempora-Fusion: Time-Lock Puzzle with Efficient Verifiable Homomorphic Linear Combination

作者: Aydin Abadi

机构: 纽卡斯尔大学 Newcastle University

摘要: 为了安全地将敏感信息传输到未来，已经开发了时间锁谜题（TLPs）。它们的应用包括定期付款、计时承诺、电子投票和密封竞标拍卖。同态TLP是TLP的一个关键变体，它可以使来自不同客户端的谜题进行计算。这使得求解器/服务器只需处理一个编码计算结果的谜题。然而，现有的同态TLP缺乏对计算结果正确性的验证支持。我们通过引入Tempora-Fusion来解决这一限制，这是一种TLP，允许服务器对来自不同客户端的谜题进行同态线性组合，同时确保计算正确性的验证。这种方案避免了用于验证的非对称密钥密码术，从而为高效实现铺平了道路。我们讨论了我们方案在各个领域的应用，如联邦学习、在线银行的定期付款和电子投票。

论文链接: https://arxiv.org/pdf/2406.15070

cs.LG: 位错构造图：使用独特指纹表示和无监督分类位错网络

原标题: Dislocation cartography: Representations and unsupervised classification of dislocation networks with unique fingerprints

作者: Benjamin Udofia, Tushar Jogi, Markus Stricker

机构: Ruhr-Universität Bochum Interdisciplinary Centre for Advanced Materials Simulation (ICAMS)

摘要: 检测数据中的结构是到达系统有意义表示的第一步。这对于作为晶体系统塑性变形结果而演变的位错网络尤其具有挑战性。我们的研究采用Isomap，一种流形学习技术，来揭示来自不同压缩轴的位错结构的高维密度场数据的内在结构。所得到的地图提供了一个系统框架，用于定量比较位错结构，基于密度场提供了独特的指纹。我们的新颖、无偏见的方法有助于对位错结构进行定量分类，并可以进行系统性扩展。

论文链接: https://arxiv.org/pdf/2406.15004

cs.LG: 学习双手机器人带触觉反馈远程操作系统的少演示变量合规控制

原标题: Learning Variable Compliance Control From a Few Demonstrations for Bimanual Robot with Haptic Feedback Teleoperation System

作者: Tatsuya Kamijo, Cristian C. Beltran-Hernandez, Masashi Hamaya

机构: 1. 甲子園辰也，克里斯蒂安·贝尔特兰-赫尔南德斯，Masashi Hamaya - 空字符串

摘要: 自动化灵巧、接触丰富的操纵任务对刚性机器人来说是机器人领域的一项重大挑战。刚性机器人通过位置指令进行驱动，由于无法适应与环境的接触而面临过多接触力的问题，可能导致损坏。虽然通过控制外部传感器来控制力以减轻这些问题的顺应性控制方案已经被引入，但受到了需要微调特定任务控制器参数的限制。从示范中学习（LfD）提供了一种直观的替代方案，允许机器人通过观察动作来学习操纵。在这项工作中，我们引入了一个新颖的系统，以增强对刚性机器人进行灵巧、接触丰富操纵的教学。我们的系统是双重的：首先，它整合了一个利用虚拟现实（VR）控制器的远程操作界面，旨在提供一种直观且成本效益的方法，用于带有触觉反馈的任务演示。其次，我们提出了Comp-ACT（通过Transformer进行动作分块的顺应性控制），这种方法利用示范来从少量示范中学习可变顺应性控制。我们的方法已经在模拟和真实环境中的单臂和双臂机器人设置中验证，跨越各种复杂的接触丰富操纵任务，展示了我们的系统在教导机器人进行灵巧操纵时具有增强的适应性和安全性的有效性。

论文链接: https://arxiv.org/pdf/2406.14990

cs.LG: 使用深度不平衡回归来从PPG数据估计血管年龄：心血管健康的新型数字生物标志物

原标题: Deep Imbalanced Regression to Estimate Vascular Age from PPG Data: a Novel Digital Biomarker for Cardiovascular Health

作者: Guangkun Nie, Qinghao Zhao, Gongzheng Tang, Jun Li, Shenda Hong

机构: 北京大学医学技术研究所 北京大学国家健康数据科学研究所 北京大学人民医院心脏内科 吉林大学电子科学与工程学院

摘要: 光电容积描记术（PPG）正日益成为监测人体血液动力学的关键工具，最近的研究突出了它在通过深度学习评估血管老化方面的潜力。然而，现实世界中的年龄分布往往不平衡，给深度学习模型带来了重大挑战。在本文中，我们介绍了一种名为Dist Loss的新颖、简单且有效的损失函数，以解决深度不平衡回归任务。我们在庞大的英国生物库数据集（n=502,389）上训练了一个包含Dist Loss的一维卷积神经网络（Net1D），用于从PPG信号中估计血管年龄，并验证了其在表征心血管健康方面的有效性。该模型的性能在一个40%的留置测试集上得到了验证，取得了最先进的结果，特别是在样本量较小的地区。此外，我们根据预测的血管年龄与实际年龄之间的差异将人群分为三个亚组：小于-10岁、-10至10岁之间和大于10岁。我们分析了在长达10年的随访期内，预测的血管年龄与几种心血管事件（包括死亡、冠心病和心力衰竭）之间的关系。我们的结果表明，预测的血管年龄具有显著的潜力反映个体的心血管健康状况。我们的代码将在此 https URL 上提供。

论文链接: https://arxiv.org/pdf/2406.14953

Github: https://github.com/Ngk03/AI-vascular-age

cs.LG: 利用点预测器增强预测区间的可靠性：异方差分位数回归和宽度自适应符合推断

原标题: Enhancing reliability in prediction intervals using point forecasters: Heteroscedastic Quantile Regression and Width-Adaptive Conformal Inference

作者: Carlos Sebastián, Carlos E. González-Guillén, Jesús Juan

机构: Universidad Polit´ecnica de Madrid 西班牙马德里理工大学
Fortia Energ´ıa 西班牙马德里格雷戈里奥·贝尼特斯大街
Instituto de Ciencias Matem´aticas 西班牙马德里尼古拉斯·卡布雷拉大街

摘要: 建立时间序列预测问题的预测区间面临着复杂的挑战，特别是当仅依赖点预测器时，这是业界从业者常见的情况。虽然研究主要集中在实现越来越有效的有效区间，但我们认为，在评估一组区间时，仅传统的度量标准是不够的。还有其他关键特征：区间的长度必须变化，这种变化直接与预测的难度相关，而区间的覆盖率必须保持独立于预测的难度，以实现实际效用。我们提出了异方差分位数回归（HQR）模型和宽度自适应符合推断（WACI）方法，分别提供理论覆盖保证，以克服这些问题。这些方法在电力价格预测和风力预测的背景下进行评估，代表了时间序列预测中的复杂场景。结果表明，HQR和WACI不仅改进或实现了典型的有效性和效率度量，而且成功地满足了通常被忽视的特征。

论文链接: https://arxiv.org/pdf/2406.14904

cs.LG: MOS：LiDAR-Based 3D目标检测的测试时间适应模型协同。

原标题: MOS: Model Synergy for Test-Time Adaptation on LiDAR-Based 3D Object Detection

作者: Zhuoxiao Chen, Junjie Meng, Mahsa Baktashmotlagh, Zi Huang, Yadan Luo

机构: 昆士兰大学

摘要: 基于LiDAR的3D物体检测在许多应用中至关重要，然而这种检测系统的性能在部署后通常会下降，特别是当面对来自不同位置或受到破坏的未知测试点云时。在这项工作中，我们引入了一个名为模型协同（MOS）的新的在线适应框架，用于检测器。具体来说，MOS动态地从历史检查点库中为每个测试批次组装最佳超模型，利用长期知识来指导模型更新而不会遗忘。模型组装由提出的协同权重（SW）指导，用于加权平均选择的检查点，以最小化复合超模型中的冗余。这些权重是通过评估测试数据上预测的边界框的相似性和检查点库中模型对之间的特征独立性来计算的。为了保持一个信息丰富而紧凑的模型库，我们弹出具有最低平均SW分数的检查点，并插入新更新的模型权重。我们的方法在三个数据集和八种类型的破坏下进行了严格测试，展示了其对不断变化的场景和条件的优越适应能力。值得注意的是，在一个复杂的“跨破坏”场景中，我们的方法在性能上实现了67.3%的增长，其中涉及跨数据集的不一致性和真实世界场景的破坏，提供了更真实的适应能力测试基准。该代码可在此 https URL 上找到。

论文链接: https://arxiv.org/pdf/2406.14878

Github: https://github.com/zhuoxiao-chen/MOS

cs.LG: 通过多任务视频分析在家可访问地检测帕金森病

原标题: Accessible, At-Home Detection of Parkinson’s Disease via Multi-task Video Analysis

作者: Md Saiful Islam, Tariq Adnan, Jan Freyberg, Sangwu Lee, Abdelrahman Abdelkader, Meghan Pawlik, Cathe Schwartz, Karen Jaffe, Ruth B. Schneider, E Ray Dorsey, Ehsan Hoque

机构: 罗切斯特大学 计算机科学系 美国 谷歌研究 健康人工智能 英国 InMotion 美国 罗切斯特医学中心 健康+技术中心 美国 罗切斯特医学中心 神经病学系 美国

摘要: 有限的神经学护理资源导致帕金森病（PD）的漏诊，许多患者未被识别和治疗。我们训练了一种新颖的基于神经网络的融合架构，通过分析从网络摄像头记录的三个任务提取的特征来检测帕金森病（PD）：手指敲击、面部表情（微笑）和语音（朗读包含字母表所有字母的句子）。此外，该模型还结合了蒙特卡洛辍学以通过考虑不确定性来提高预测准确性。研究参与者（n = 845，272名患有PD）被随机分为三组：60%用于训练，20%用于模型选择（超参数调整），20%用于最终性能评估。数据集包括1102个会话，每个会话包含三个任务的视频。我们提出的模型在准确性、ROC曲线下面积（AUROC）和非劣质特异性敏感性方面均显著优于任何单一任务模型。保留不确定预测进一步提高了性能，实现了88.0%（95% CI: 87.7% - 88.4%）的准确性，93.0%（92.8% - 93.2%）的AUROC，79.3%（78.4% - 80.2%）的敏感性和92.6%（92.3% - 92.8%）的特异性，代价是无法预测2.3%（2.0% - 2.6%）的数据。进一步分析表明，训练模型在性别和种族亚组之间没有可检测的偏见，并且对50至80岁之间的个体最有效。这种易于获取、低成本的方法只需要一个带有网络摄像头和麦克风的互联网设备，为方便的家庭帕金森病筛查铺平了道路，特别是在神经学专家资源有限的地区。

论文链接: https://arxiv.org/pdf/2406.14856

cs.LG: 贝叶斯神经网络用于预测材料响应的不确定性

原标题: Bayesian neural networks for predicting uncertainty in full-field material response

作者: George D. Pasparakis, Lori Graham-Brady, Michael D. Shields

机构: 约翰霍普金斯大学 United States

摘要: 应力和材料变形场预测是计算力学中最重要的任务之一。这些预测通常是通过使用有限元分析求解连续介质力学的控制方程来实现的，考虑到复杂的微结构和材料行为，这可能变得计算上限制。机器学习（ML）方法为这些应用提供了潜在的成本有效替代方案。然而，现有的ML替代方案要么局限于低维问题，要么在预测中不提供不确定性估计。本文提出了一种ML替代方案框架，用于应力场预测和多样化材料微结构的不确定性量化。采用修改后的贝叶斯U-net架构，提供了从初始微结构到应力场的数据驱动图像到图像映射，并提供了预测（认知）不确定性估计。使用三种最先进的推断算法估计了U-net参数的贝叶斯后验分布：基于后验采样的哈密顿蒙特卡洛方法和两种变分方法，蒙特卡洛辍学方法和贝叶斯反向传播算法。对于纤维增强复合材料和多晶微结构应用进行了这些方法的预测精度和不确定性估计的系统比较。结果表明，与有限元分析解相比，所提出的方法产生了高精度的预测，而不确定性估计取决于推断方法。一般来说，哈密顿蒙特卡洛和贝叶斯反向传播方法提供了一致的不确定性估计。另一方面，蒙特卡洛辍学的不确定性估计更难解释，并且在很大程度上取决于该方法的设计。

论文链接: https://arxiv.org/pdf/2406.14838

cs.LG: 贝叶斯 PINN 用于反问题的估计速率

原标题: On the estimation rate of Bayesian PINN for inverse problems

作者: Yi Sun, Debarghya Mukherjee, Yves Atchade

机构: 清华大学 印度理工学院 伊维斯·阿查德

摘要: 使用基于物理信息的神经网络（PINNs）解决偏微分方程（PDEs）及其逆问题是物理和机器学习领域中一种快速发展的方法。虽然存在几种在实践中表现出色的PINNs架构，但我们对它们性能的理论理解还有待加强。在这项工作中，我们研究了贝叶斯PINN估计器对PDE解的行为，该解是从$n$个独立噪声测量的解中得出的。我们专注于一类在其参数中是线性的方程（具有未知系数${\theta }_{\star }$）。我们表明，当偏微分方程存在经典解（比如$u_{\star }$），并且可微到$\beta$阶时，贝叶斯后验均值的均方误差至少为$n^{-2\beta /(2\beta +d)}$阶。此外，我们根据基础微分算子的阶数建立了${\theta }_{\star }$的线性系数的收敛速率。最后，我们通过大量模拟验证了我们的理论结果。

论文链接: https://arxiv.org/pdf/2406.14808