2024年6月3日Arxiv人工智能相关论文

cs.AI: 大语言模型中信念表示的标准

原标题: Standards for Belief Representations in LLMs

作者: Daniel A. Herrmann, Benjamin A. Levinstein

机构: 格罗宁根大学 伊利诺伊大学厄巴纳-香槟分校

摘要: 随着大语言模型（LLMs）在各个领域展示出卓越的能力，计算机科学家们正在开发方法来理解它们的认知过程，特别是关于LLMs如何（以及是否）在内部表征它们对世界的信念。然而，目前这一领域缺乏一个统一的理论基础来支撑对LLMs信念研究的开展。本文通过提出适当性条件，开始填补这一空白，以便在LLMs中的表征被视为类似于信念。我们认为，尽管在LLMs中对信念的测量项目与决策理论和形式认识论中进行的信念测量具有显著的相似之处，但也存在着应该改变我们如何测量信念的方式。因此，借鉴哲学的见解和当代机器学习的实践，我们建立了平衡理论考虑和实际约束的四个标准。我们提出的标准包括准确性、连贯性、一致性和使用，这些标准共同帮助奠定了对LLMs中信念表征的全面理解的基础。我们借鉴了实证研究的成果，显示了单独使用各种标准来识别信念表征的局限性。

论文链接: https://arxiv.org/pdf/2405.21030

cs.AI: 超声成像中的生成对抗网络：扩展传统限制之外的视野

原标题: Generative Adversarial Networks in Ultrasound Imaging: Extending Field of View Beyond Conventional Limits

作者: Matej Gazda, Samuel Kadoury, Jakub Gazda, Peter Drotar

机构: 斯洛伐克科希策理工大学 蒙特利尔大学 蒙特利尔理工大学 沙夫里克大学和路易·巴斯德大学

摘要: 超胸超声心动图（TTE）是心血管医学中一种基本的非侵入性诊断工具，能够详细可视化心脏结构，对诊断各种心脏疾病至关重要。尽管被广泛使用，TTE超声成像面临固有的局限，尤其是视野（FoV）和分辨率之间的权衡。本文介绍了一种新的条件生成对抗网络（cGANs）的应用，专门设计用于扩展TTE超声成像中的FoV，同时保持高分辨率。我们提出的cGAN架构，称为echoGAN，通过外部绘制展示了生成逼真的解剖结构的能力，有效地扩大了医学成像中可视区域。这一进展有潜力增强自动和手动超声导航，提供更全面的视图，可以显著减少与超声成像相关的学习曲线，并有助于更准确的诊断。结果证实，echoGAN可可靠地再现详细的心脏特征，因此有望在非侵入性心脏导航和诊断领域迈出重要一步。

论文链接: https://arxiv.org/pdf/2405.20981

cs.AI: 使用自适应对抗训练增强检索增强语言模型的噪声鲁棒性

原标题: Enhancing Noise Robustness of Retrieval-Augmented Language Models with Adaptive Adversarial Training

作者: Feiteng Fang, Yuelin Bai, Shiwen Ni, Min Yang, Xiaojun Chen, Ruifeng Xu

机构: 中国科学技术大学 深圳高级技术研究院 中国科学院 深圳大学 哈尔滨工业大学（深圳）

摘要: 大语言模型（LLMs）展示了相当大的能力，但也面临着挑战，包括幻觉、过时知识和不可追踪的推理过程。检索增强生成（RAG）已经成为一个有前途的解决方案，它整合了来自外部数据库的知识，以减轻这些挑战。然而，不恰当的检索到的段落可能会潜在地阻碍LLMs生成全面和高质量的回应能力。先前关于检索噪声鲁棒性的RAG研究通常局限于有限的噪声类型，偏离了真实的检索环境，并限制了实际的适用性。在这项研究中，我们首先调查检索噪声，并将其分类为三种不同类型，反映了真实世界的环境。我们分析了这些不同检索噪声对LLMs鲁棒性的影响。随后，我们提出了一种新颖的RAG方法，称为检索增强自适应对抗训练（RAAT）。RAAT利用自适应对抗训练动态调整模型的训练过程，以应对检索噪声。同时，它采用多任务学习来确保模型内部识别嘈杂上下文的能力。大量实验证明，使用RAAT训练的LLaMA-2 7B模型在各种噪声条件下在F1和EM分数上取得了显著改进。为了可重现性，我们在此 https URL 上发布了我们的代码和数据。

论文链接: https://arxiv.org/pdf/2405.20978

Github: https://github.com/calubkk/RAAT

cs.AI: 导航表格数据合成研究：理解用户需求和工具能力

原标题: Navigating Tabular Data Synthesis Research: Understanding User Needs and Tool Capabilities

作者: Maria F. Davila R., Sven Groen, Fabian Panse, Wolfram Wingerath

机构: OFFIS - 信息学研究所 initions GmbH Hasso Plattner Institute 卡尔·冯·奥西茨基老师大学

摘要: 在快速发展的数据驱动应用时代，对于研究和实践中的数据需求不断增长。当没有真实数据可用时（例如，由于隐私法规），合成数据已经成为一种替代方案。合成表格数据面临着独特而复杂的挑战，特别是处理（i）缺失值，（ii）数据集不平衡，（iii）不同的列类型和（iv）复杂的数据分布，同时保留原始数据集中存在的（i）列相关性，（ii）时间依赖性和（iii）完整性约束（例如，功能依赖）。尽管在生成模型的背景下取得了实质性进展，但目前并没有适用于所有表格数据的解决方案，因此选择适合特定任务的正确工具绝非易事。在本文中，我们调查了表格数据合成（TDS）领域的最新技术，通过定义一组功能性和非功能性需求来审视用户需求，并总结了满足这些需求所面临的挑战。此外，我们评估了关于这些需求的36种热门研究TDS工具的性能，并制定了一个决策指南，以帮助用户找到适合其应用程序的TDS工具。最终的决策指南还确定了重要的研究空白。

论文链接: https://arxiv.org/pdf/2405.20959

cs.AI: 蒙特卡洛树搜索在云覆盖不确定性下的卫星调度

原标题: Monte Carlo Tree Search Satellite Scheduling Under Cloud Cover Uncertainty

作者: Justin Norman, Francois Rivest

机构: 皇家加拿大军事学院 McGill大学

摘要: 在动态环境中高效利用卫星资源仍然是卫星调度中的一个具有挑战性的问题。本文解决了多卫星集合调度问题（m-SatCSP），旨在优化在诸如云覆盖等不确定条件下卫星星座上的任务调度。利用蒙特卡洛树搜索（MCTS），一种随机搜索算法，探讨了两个版本的MCTS以有效地调度卫星。进行了超参数调整以优化算法的性能。实验结果表明了MCTS方法的有效性，在解决方案质量和效率方面优于现有方法。与其他调度算法的比较分析展示了竞争性能，将MCTS定位为动态环境中卫星任务调度的一个有前途的解决方案。

论文链接: https://arxiv.org/pdf/2405.20951

cs.AI: 再去一次：AI 对齐悖论

原标题: There and Back Again: The AI Alignment Paradox

作者: Robert West, Roland Aydin

机构: EPFL TUHH

摘要: 人工智能对齐领域旨在引导人工智能系统朝向人类的目标、偏好和道德原则发展。它的贡献对于提高当今人工智能模型的输出质量、安全性和可信度至关重要。这篇观点文章着重指出了所有人工智能对齐努力中固有的一个基本挑战，我们称之为“人工智能对齐悖论”：我们将人工智能模型与我们的价值观更好地对齐，就越容易让对手使模型失去对齐。我们通过为语言模型案例勾勒三个具体的例子化身来说明这个悖论，每个例子对应着对手可以利用悖论的不同方式。随着人工智能在现实世界中的影响日益增大，广泛的研究人员社区必须意识到人工智能对齐悖论，并努力寻找突破它的方法，以确保人工智能被有益地用于造福人类。

论文链接: https://arxiv.org/pdf/2405.20806

cs.AI: OpenTensor: 复现更快的矩阵乘法发现算法

原标题: OpenTensor: Reproducing Faster Matrix Multiplication Discovering Algorithms

作者: Yiwen Sun, Wenye Li

机构: 复旦大学

摘要: OpenTensor 是 AlphaTensor 的复制品，它通过深度强化学习（DRL）发现了一种优于现有矩阵乘法方法的新算法。虽然 AlphaTensor 提供了一个解决科学问题的有前途的框架，但由于大量技巧和缺乏源代码，它真的很难复制。在本文中，我们清理了算法流程，澄清了技术细节，并对训练过程进行了一些改进。计算结果表明，OpenTensor 能够成功地找到高效的矩阵乘法算法。

论文链接: https://arxiv.org/pdf/2405.20748

cs.AI: 利用卷积神经网络通过遥感数据进行最高温度预测

原标题: Maximum Temperature Prediction Using Remote Sensing Data Via Convolutional Neural Network

作者: Lorenzo Innocenti, Giacomo Blanco, Luca Barco, Claudio Rossi

机构: LINKS基金会

摘要: 城市热岛被定义为具有明显高于其周边环境温度的特定区域，对环境可持续性和公共健康构成重大威胁。本研究引入了一种新颖的机器学习模型，将来自Sentinel-3卫星、气象预测和其他遥感输入的数据融合在一起。其主要目的是生成详细的时空地图，预测都灵市24小时内的最高温度。实验结果验证了该模型在预测温度模式方面的能力，在20米每像素的分辨率下，2023年的平均绝对误差（MAE）为2.09摄氏度，从而丰富了我们对城市气候行为的认识。这项研究加强了对城市微气候的理解，强调了跨学科数据整合的重要性，并为基于知情政策制定奠定了基础，旨在减轻极端城市温度的负面影响。

论文链接: https://arxiv.org/pdf/2405.20731

cs.AI: GI-NAS: 通过自适应神经架构搜索提升梯度反转攻击

原标题: GI-NAS: Boosting Gradient Inversion Attacks through Adaptive Neural Architecture Search

作者: Wenbo Yu, Hao Fang, Bin Chen, Xiaohang Sui, Chuan Chen, Hao Wu, Shu-Tao Xia, Ke Xu

机构: 哈尔滨工业大学深圳校区 清华大学深圳国际研究生院 中山大学计算机科学与工程学院 清华大学计算机科学与技术系

摘要: 梯度反转攻击（Gradient Inversion Attacks）会颠倒在联邦学习（FL）系统中传输的梯度，以重建本地客户端的敏感数据，并引起了相当大的隐私担忧。大多数梯度反转方法严重依赖显式先验知识（例如，一个训练良好的生成模型），而这种知识在现实场景中通常是不可用的。为了缓解这一问题，研究人员提出利用过参数化网络的隐式先验知识。然而，他们只针对所有攻击设置使用固定的神经架构。这将阻碍隐式架构先验的自适应使用，从而限制了泛化能力。在本文中，我们通过提出基于神经架构搜索的梯度反转（Gradient Inversion via Neural Architecture Search，GI-NAS）进一步利用这种隐式先验知识，该方法自适应地搜索网络并捕获神经架构背后的隐式先验。大量实验证实，我们提出的GI-NAS相比于最先进的梯度反转方法，甚至在更实际的设置下（高分辨率图像、大批量、高级防御策略），都能实现更优越的攻击性能。

论文链接: https://arxiv.org/pdf/2405.20725

cs.AI: 气候变量降尺度与条件归一化流

原标题: Climate Variable Downscaling with Conditional Normalizing Flows

作者: Christina Winkler, Paula Harder, David Rolnick

机构: 魁北克大学

摘要: 全球气候模型的预测通常在粗糙的空间尺度上运行，这是由于气候模拟的巨大计算成本所致。这导致人们对统计降尺度方法产生了相当大的兴趣，这是在计算机视觉背景下超分辨率的类似过程，可以提供更多的本地和区域气候信息。在这项工作中，我们将条件归一化流应用于气候变量降尺度的任务。我们展示了它在 ERA5 水含量数据集上针对不同的上采样因子的成功表现。此外，我们展示了该方法允许我们根据拟合的条件分布均值来评估预测不确定性的标准差。

论文链接: https://arxiv.org/pdf/2405.20719

cs.AI: ADESSE：在复杂重复决策环境中的建议解释

原标题: ADESSE: Advice Explanations in Complex Repeated Decision-Making Environments

作者: Sören Schleibaum, Lu Feng, Sarit Kraus, Jörg P. Müller

机构: 克劳斯塔尔工业大学 弗吕恩大学 维吉尼亚大学 巴伊兰大学

摘要: 在人工智能以人为中心的不断发展的格局中，促进人类与AI智能体在决策过程中建立协同关系是一个重要挑战。本研究考虑了一个问题设置，其中一个智能体包括基于神经网络的预测组件和深度强化学习组件，在复杂的重复决策环境中向人类决策者提供建议。人类决策者是否会听从智能体的建议取决于他们对智能体的信念和信任，以及对建议本身的理解。为此，我们开发了一种名为ADESSE的方法，用于生成有关顾问智能体的解释，以提高人类的信任和决策能力。在一系列具有不同模型大小的环境上进行的计算实验展示了ADESSE的适用性和可扩展性。此外，一项基于互动游戏的用户研究显示，当参与者被呈现ADESSE生成的解释时，他们的满意度显著提高，游戏中获得更高的奖励，并在选择行动时花费更少的时间。这些发现阐明了定制的以人为中心的解释在AI辅助决策中的关键作用。

论文链接: https://arxiv.org/pdf/2405.20705

cs.AI: 自降对比度领域自适应工业故障诊断与双不平衡数据

原标题: Self-degraded contrastive domain adaptation for industrial fault diagnosis with bi-imbalanced data

作者: Gecheng Chen, Zeyu Yang, Chengwen Luo, Jianqiang Li

机构: 清华大学 中国科学院

摘要: 现代工业故障诊断任务通常面临分布差异和双向不平衡的综合挑战。现有的领域自适应方法很少关注普遍存在的双向不平衡，导致领域自适应性能较差，甚至出现负迁移。在这项工作中，我们提出了一种自降级对比领域自适应（Sd-CDA）诊断框架，以处理双向不平衡数据下的领域差异。它首先通过基于模型修剪的平衡感知对比学习来预训练特征提取器，以自监督方式高效学习特征表示。然后，基于监督对比领域对抗学习（SupCon-DA），迫使样本远离领域边界，并确保特征提取器生成的特征具有足够的区分性。此外，我们提出了修剪对比领域对抗学习（PSupCon-DA），自动重新加权关注少数类，以增强对双向不平衡数据的性能。我们通过两个实验展示了所提方法的优越性。

论文链接: https://arxiv.org/pdf/2405.20700

cs.AI: 自动计数和分类野外诱蚊器中的蚊子卵

原标题: Automatic Counting and Classification of Mosquito Eggs in Field Traps

作者: Javier Naranjo-Alcazar, Jordi Grau-Haro, Pedro Zuccarello, David Almenar, Jesus Lopez-Ballester

机构: 西班牙瓦伦西亚大学 Instituto Tecnológico de Informática (ITI) 西班牙TRAGSA公司 西班牙瓦伦西亚大学ETSE

摘要: 对于蚊子产卵的田间陷阱的分析对于检查无性虫技术（SIT）是否正常运作至关重要。这是因为孵化的卵数量可能表明无性雄性与野生雄性不在竞争。如今，陷阱的研究是通过显微镜手动完成的，非常耗时且容易出现人为错误。本文介绍了一种自动陷阱调查方法。为此，设计了一种设备，可以自动扫描板条，获取不同重叠的照片。随后，这些图像由一个Mask-RCNN神经网络进行分析，将卵分割并分类为两类：完整或孵化。

论文链接: https://arxiv.org/pdf/2405.20656

cs.AI: 通过无声标记增强对大语言模型的越狱攻击

原标题: Enhancing Jailbreak Attack Against Large Language Models through Silent Tokens

作者: Jiahao Yu, Haozheng Luo, Jerry Yao-Chieh, Wenbo Guo, Han Liu, Xinyu Xing

机构: 西北大学 加州大学圣巴巴拉分校

摘要: 除了语言模型的显著成功之外，最近的研究也开始探索LLM（大语言模型）的安全威胁，包括越狱攻击。攻击者精心制作越狱提示，使目标LLM对有害问题做出回应。现有的越狱攻击要么需要人类专家，要么利用复杂的算法来制作越狱提示。在本文中，我们介绍了BOOST，一种仅利用eos标记的简单攻击。我们证明，攻击者可以简单地在有害问题的末尾添加几个eos标记，而不是构建复杂的越狱提示。这将绕过LLM的安全对齐，导致成功的越狱攻击。我们进一步将BOOST应用于四种代表性的越狱方法，并展示通过简单地向提示添加eos标记可以显著提高这些方法的攻击成功率。为了理解这一简单但新颖的现象，我们进行了实证分析。我们的分析揭示，添加eos标记会使目标LLM认为输入的危害要小得多，eos标记具有较低的注意力值，并不影响LLM对有害问题的理解，从而导致模型实际上回应这些问题。我们的发现揭示了LLM在面对越狱攻击时有多么脆弱，促使开发强大的安全对齐方法。

论文链接: https://arxiv.org/pdf/2405.20653

cs.AI: 使用大语言模型模块化框架进行鲁棒规划：旅行规划案例研究

原标题: Robust Planning with LLM-Modulo Framework: Case Study in Travel Planning

作者: Atharva Gundawar, Mudit Verma, Lin Guan, Karthik Valmeekam, Siddhant Bhambri, Subbarao Kambhampati

机构: 清华大学 哈佛大学

摘要: 随着大语言模型（LLMs）的适用性超越传统的文本处理任务，人们对它们在规划和推理任务中表现出色的潜力产生了蓬勃的兴趣，这些领域传统上是系统2认知能力所保留的领域。尽管人们认为它们具有多功能性，但研究界仍在揭示有效的策略，以在这些复杂领域中利用这些模型。最近一篇关于LLM Modulo的论文引入了一种重要的进展，提出了一个概念框架，增强了LLMs在各种规划和推理活动中的整合。这篇研讨会论文深入探讨了这一框架在旅行规划领域的实际应用，展示了其实施的具体实例。我们正在使用OSU NLP组的旅行规划基准测试，这是一个用于评估LLMs在根据用户用自然语言提出的查询生成有效行程的性能的基准测试。虽然增强LLMs推理能力的流行方法，如Chain of Thought、ReAct和Reflexion在GPT3.5-Turbo上分别仅达到0％、0.6％和0％，但我们对LLM-Modulo框架在旅行规划领域的操作化提供了显著的改进，将基准性能提高了4.6倍，对于GPT4-Turbo甚至对于旧模型如GPT3.5-Turbo，从0％提高到5％。此外，我们强调了LLMs在规划流程中的其他有用角色，正如LLM-Modulo所建议的那样，这些角色可以可靠地操作化，例如提取有用的评论者和评论者的改写者。

论文链接: https://arxiv.org/pdf/2405.20625

cs.AI: 多标签类增量情感解码与增强情感语义学习

原标题: Multi-label Class Incremental Emotion Decoding with Augmented Emotional Semantics Learning

作者: Kaicheng Fu, Changde Du, Xiaoyu Chen, Jie Peng, Huiguang He

机构: 中国科学院自动化研究所 中国科学院大学

摘要: 情感解码在情感人机交互中扮演着重要角色。然而，先前的研究忽略了动态的现实场景，在这些场景中，人类经历了多种情绪的融合，这些情绪逐渐整合到模型中，导致了多标签类别增量学习（MLCIL）问题。现有方法难以解决MLCIL问题，部分原因是由于部分标签问题和标签语义挖掘不足导致的臭名昭著的灾难性遗忘。本文提出了一个增强的情感语义学习框架，用于多标签类别增量情感解码。具体而言，我们设计了一个带有标签消歧的增强情感关系图模块，以处理过去缺失的部分标签问题。然后，我们利用情感维度空间中的领域知识通过知识蒸馏来缓解未来缺失的部分标签问题。此外，构建了一个情感语义学习模块，其中包括一个图自动编码器，以获取情感嵌入，以指导语义特定特征的解耦，以实现更好的多标签学习。在三个数据集上进行的大量实验表明，我们的方法在提高情感解码性能和减轻MLCIL问题上具有优越性。

论文链接: https://arxiv.org/pdf/2405.20600

cs.AI: 循环神经网络：梯度消失和梯度爆炸并不是故事的结束。

原标题: Recurrent neural networks: vanishing and exploding gradients are not the end of the story

作者: Nicolas Zucchet, Antonio Orvieto

机构: 苏黎世联邦理工学院 智能系统最大计划 图宾根人工智能中心

摘要: 循环神经网络（RNN）因梯度消失和梯度爆炸而臭名昭著地难以学习长期记忆。最近，状态空间模型（SSM）作为RNN的一个子类成功地克服了这些困难，挑战了我们的理论理解。在本文中，我们深入探讨了RNN的优化挑战，并发现随着网络记忆的增加，参数的变化导致输出变化越来越大，使得基于梯度的学习变得高度敏感，即使没有梯度爆炸。我们的分析进一步揭示了元素逐个回归设计模式与谨慎的参数化在减轻这种影响方面的重要性。这一特性不仅存在于SSM中，也存在于其他架构，如LSTM。总的来说，我们的见解为解释RNN基于梯度学习中的一些困难以及为什么一些架构表现比其他架构更好提供了新的解释。

论文链接: https://arxiv.org/pdf/2405.21064

cs.AI: 神经网络验证与分支定界在一般非线性情况下

原标题: Neural Network Verification with Branch-and-Bound for General Nonlinearities

作者: Zhouxing Shi, Qirui Jin, Zico Kolter, Suman Jana, Cho-Jui Hsieh, Huan Zhang

机构: 加州大学洛杉矶分校 密歇根大学 卡内基梅隆大学 哥伦比亚大学 伊利诺伊大学厄巴纳-香槟分校

摘要: 分支定界（Branch-and-bound，BaB）是神经网络（NN）验证中最有效的方法之一。然而，现有的关于BaB的研究主要集中在具有分段线性激活函数的NN上，特别是ReLU网络。在本文中，我们开发了一个名为GenBaB的通用框架，基于线性界传播，在一般计算图中进行一般非线性的BaB。为了决定分支哪个神经元，我们设计了一种新的分支启发式方法，利用线性界作为快捷方式，有效地估计分支后的潜在改进。为了确定一般非线性函数的非平凡分支点，我们提出了离线优化分支点的方法，在验证过程中可以高效地利用查找表。我们展示了我们的GenBaB在验证各种NN上的有效性，包括具有Sigmoid、Tanh、Sine和GeLU等激活函数的网络，以及涉及多维非线性操作（如LSTM和Vision Transformer中的乘法）的网络。我们的框架还允许验证一般非线性计算图，并实现了超越简单神经网络的验证应用，特别是用于交流最优潮流（AC Optimal Power Flow，ACOPF）。GenBaB是最新$\alpha ,\beta$-CROWN的一部分，该模型是第四届国际神经网络验证竞赛（VNN-COMP 2023）的获胜者。

论文链接: https://arxiv.org/pdf/2405.21063

cs.AI: 使用定向能量和深度学习的有机除草控制原型

原标题: An Organic Weed Control Prototype using Directed Energy and Deep Learning

作者: Deng Cao, Hongbo Zhang, Rajveer Dhillon

机构: 中央州立大学 州立中部大学

摘要: 有机除草对于改善作物产量具有重要意义，并且采用可持续的方法。在这项工作中，提出了一种专门为有机农场设计的定向能量除草机器人原型。该机器人使用一种新颖的分布式阵列机器人（DAR）单元进行除草处理。建立了大豆和玉米数据库，用于训练深度学习神经网络以执行除草识别。最初的深度学习神经网络在作物分类方面表现出很高的性能。该机器人使用了一种专利的定向能量植物根除配方，完全有机且不含紫外线-C，不会对土壤造成化学损害或物理干扰。深度学习可以在自然环境下对大豆田中的8种常见杂草进行分类，准确率高达98%。

论文链接: https://arxiv.org/pdf/2405.21056

cs.AI: 目标网络和过参数化稳定了带有函数逼近的离策略引导。

原标题: Target Networks and Over-parameterization Stabilize Off-policy Bootstrapping with Function Approximation

作者: Fengdi Che, Chenjun Xiao, Jincheng Mei, Bo Dai, Ramki Gummadi, Oscar A Ramirez, Christopher K Harris, A. Rupam Mahmood, Dale Schuurmans

摘要: 我们证明，在某些情况下，目标网络和过度参数化的线性函数逼近的组合为使用离线数据进行自举值估计建立了一个较弱的收敛条件。我们的条件在整个状态-动作空间上的期望更新或者从情节式马尔可夫决策过程的完整轨迹批次学习时自然得到满足。值得注意的是，仅使用目标网络或过度参数化模型并不能提供这样的收敛保证。此外，我们将结果扩展到学习截断轨迹，表明对所有任务的收敛是可以通过类似于轨迹中最终状态的值截断的微小修改来实现的。我们的主要结果集中在预测的时间差估计上，提供了高概率的值估计误差界限，并对贝尔德的反例和一个四室任务进行了实证分析。此外，我们探讨了控制设置，证明了类似的收敛条件适用于 Q 学习。

论文链接: https://arxiv.org/pdf/2405.21043

cs.AI: Fusion-PSRO：纳什政策融合用于政策空间响应神谕

原标题: Fusion-PSRO: Nash Policy Fusion for Policy Space Response Oracles

作者: Jiesong Lian, Yucong Huang, Mingzhi Wang, Chengdong Ma, Yixue Hao, Ying Wen, Yaodong Yang

机构: 华中科技大学 北京大学 上海交通大学

摘要: 为了解决涉及非传递性的零和博弈问题，一种常见的方法是维护人口政策以逼近纳什均衡（NE）。先前的研究表明，政策空间响应神谕（PSRO）是这些游戏的有效多智能体强化学习框架。然而，反复训练新政策以逼近每次迭代中对手混合政策的最佳响应（BR）是低效且昂贵的。虽然一些PSRO方法通过继承过去的BR政策来初始化新的BR政策，但这种方法限制了对新政策的探索，特别是针对具有挑战性的对手。为了解决这个问题，我们提出了Fusion-PSRO，它使用模型融合来初始化更好逼近BR的政策。通过从NE中选择前k个概率，我们选择高质量的基础政策，并通过模型平均将它们融合成一个新的BR政策。这种方法允许初始化政策包含多个专家政策，使其更容易处理困难的对手，相比于继承或从头开始初始化。此外，我们的方法只修改政策初始化，使其适用于几乎所有PSRO变体，而无需额外的训练开销。我们在非传递矩阵游戏、Leduc扑克和更复杂的Liars骰子上的实验表明，Fusion-PSRO提升了几乎所有PSRO变体的性能，实现了更低的剥削性。

论文链接: https://arxiv.org/pdf/2405.21027

其他链接: http://opponents.To

cs.AI: 紧凑型优化代理的最优性验证

原标题: Compact Optimality Verification for Optimization Proxies

作者: Wenbo Chen, Haoruo Zhao, Mathieu Tanneau, Pascal Van Hentenryck

机构: 清华大学 哈佛大学

摘要: 近年来，人们对优化代理产生了越来越浓厚的兴趣，即机器学习模型，它们近似于参数化优化问题的输入-输出映射，并返回接近最优的可行解决方案。本文在(Nellikkath & Chatzivasileiadis, 2021)的最新工作基础上，重新考虑了优化代理的最优性验证问题，即确定实例分布上最坏情况下的最优性差距。本文提出了一种紧凑的最优性验证公式和基于梯度的原始启发式方法，为原始公式带来了实质性的计算优势。紧凑的公式也更加通用，适用于非凸优化问题。紧凑公式的好处在大规模DC最优潮流和背包问题上得到了证明。

论文链接: https://arxiv.org/pdf/2405.21023

cs.AI: 解释预测的特征规则

原标题: Explaining Predictions by Characteristic Rules

作者: Amr Alkhatib, Henrik Boström, Michalis Vazirgiannis

机构: 皇家理工学院

摘要: 特征规则因其在规则学习领域中提高可解释性的能力而备受推崇。然而，在解释预测方面，前一种规则类型尚未被使用。提出了一种名为CEGA（特征解释性通用关联规则）的新型解释技术，该技术利用关联规则挖掘将任何标准局部解释技术生成的多个解释聚合成一组特征规则。提出了一项实证调查，比较了CEGA与两种最先进方法Anchors和GLocalX在生成局部和聚合解释（以区分规则的形式）方面的性能。结果表明，与两种最先进方法相比，所提出的方法在保真度和复杂度之间提供了更好的权衡；CEGA和Anchors在保真度方面明显优于GLocalX，而CEGA和GLocalX在生成规则数量方面明显优于Anchors。还研究了将CEGA的解释格式更改为区分规则，并使用LIME和SHAP作为局部解释技术，而不是Anchors的效果。结果显示，特征解释性规则仍然与标准区分规则竞争激烈。结果还表明，将CEGA与SHAP或Anchors结合使用始终比使用LIME作为局部解释技术具有更高的保真度。

论文链接: https://arxiv.org/pdf/2405.21003

cs.AI: 将机器学习模型锁定到硬件中

原标题: Locking Machine Learning Models into Hardware

作者: Eleanor Clifford, Adhithya Saravanan, Harry Langford, Cheng Zhang, Yiren Zhao, Robert Mullins, Ilia Shumailov, Jamie Hayes

机构: 帝国理工学院 剑桥大学 谷歌DeepMind

摘要: 现代机器学习模型是昂贵的知识产权，业务竞争力往往取决于保持这些知识产权的保密性。这反过来限制了这些模型的部署方式 – 例如，如何在设备上部署模型而不可避免地泄漏底层模型尚不清楚。与此同时，诸如多方计算或同态加密之类的保密计算技术仍然不适合广泛采用。在本文中，我们采取了一种不同的方法，研究了通过将模型限制为仅在特定硬件上可用的ML特定机制的可行性，从而阻止未经授权的模型使用，使在未经授权的硬件上采用变得不方便。这样，即使知识产权被泄露，也不能轻易使用，除非有专门的硬件或主要的模型调整。在某种意义上，我们试图实现将机器学习模型便宜地锁定到特定硬件上。我们证明了锁定机制是可行的，可以通过针对模型表示的效率，例如使模型与量化不兼容，或者将模型的操作与硬件的特定特征相关联，例如算术运算的周期数。我们证明，锁定几乎不会增加工作量和延迟开销，同时显著限制了在未经授权的硬件上使用所得模型的可用性。

论文链接: https://arxiv.org/pdf/2405.20990

cs.AI: ACE: 一种针对联邦学习中贡献评估方法的模型投毒攻击

原标题: ACE: A Model Poisoning Attack on Contribution Evaluation Methods in Federated Learning

作者: Zhangchen Xu, Fengqing Jiang, Luyao Niu, Jinyuan Jia, Bo Li, Radha Poovendran

机构: 华盛顿大学 宾夕法尼亚州立大学 芝加哥大学

摘要: 在联邦学习（FL）中，一组客户端协作训练一个机器学习模型（称为全局模型），而不共享他们的本地训练数据。客户端的本地训练数据通常是非独立同分布的和异构的，导致个体客户端对全局模型最终性能的贡献不同。为此，提出了许多贡献评估方法，服务器可以评估每个客户端的贡献并激励高贡献的客户端持续参与FL。现有研究主要集中在开发新的度量标准或算法，以更好地衡量每个客户端的贡献。然而，在对抗环境中运行的FL的贡献评估方法的安全性尚未得到广泛探讨。在本文中，我们提出了FL中贡献评估方法的第一个模型中毒攻击，称为ACE。具体地，我们展示了任何利用ACE的恶意客户端可以操纵其本地模型的参数，使其被服务器评估为具有高贡献，即使其本地训练数据实际上质量较低。我们对ACE进行了理论分析和实证评估。从理论上讲，我们展示了我们设计的ACE可以在服务器采用广泛使用的余弦距离度量来衡量贡献时有效地提升恶意客户端的感知贡献。实证上，我们的结果表明ACE有效且高效地欺骗了五种最先进的贡献评估方法。此外，ACE保持了最终全局模型在测试输入上的准确性。我们还探讨了六种抵御ACE的对策。我们的结果表明它们不足以阻止ACE，突显了迫切需要新的防御措施来保护FL中的贡献评估方法。

论文链接: https://arxiv.org/pdf/2405.20975

cs.AI: 有效稀疏性和量化之间的有效互动：从理论到实践

原标题: Effective Interplay between Sparsity and Quantization: From Theory to Practice

作者: Simla Burcu Harma, Ayan Chakraborty, Elizaveta Kostenok, Danila Mishin, Dongho Ha, Babak Falsafi, Martin Jaggi, Ming Liu, Yunho Oh, Suvinay Subramanian, Amir Yazdanbakhsh

摘要: 深度神经网络不断增大的规模需要有效的模型压缩来提高计算效率并减少内存占用。稀疏性和量化是两种显著的压缩方法，它们分别在减少计算和内存占用的同时保持模型准确性方面取得了显著的降低。尽管有效，这两种方法之间的相互作用仍然是一个开放性问题。在本文中，我们研究了这两种方法之间的相互作用，并评估它们的组合是否影响最终模型的准确性。我们在数学上证明了在这些操作中先应用稀疏性再进行量化是最佳顺序，可以最小化计算误差。我们在包括 OPT 和 Llama 模型系列（125M-8B）以及 ViT 在内的广泛模型范围上进行了实证研究，证实了这些理论发现。此外，通过严格的分析，我们证明了稀疏性和量化并不是正交的；它们的相互作用可能会显著损害模型的准确性，其中量化误差在这种退化中起主导作用。我们的发现延伸到在资源有限的计算平台上高效部署大型模型，并降低服务成本，为应用这些压缩方法以最大化效果而不损害准确性提供了最佳实践的见解。

论文链接: https://arxiv.org/pdf/2405.20935

cs.AI: 快速而安全：具有风险控制的提前退出

原标题: Fast yet Safe: Early-Exiting with Risk Control

作者: Metod Jazbec, Alexander Timans, Tin Hadži Veljković, Kaspar Sakmann, Dan Zhang, Christian A. Naesseth, Eric Nalisnick

摘要: 扩展机器学习模型显著提高了它们的性能。然而，这样的收益是以推理速度慢和资源密集为代价的。早期退出神经网络（EENNs）提供了一个有希望的解决方案：它们通过允许中间层提前退出并产生预测来加速推理。然而，EENNs的一个基本问题是如何确定何时退出而不严重降低性能。换句话说，EENN 何时“安全”地进行“快速”推理？为了解决这个问题，我们研究了如何将风险控制框架调整到EENNs。风险控制提供了一个无分布、事后的解决方案，调整EENN的退出机制，使退出仅在输出达到足够质量时发生。我们在一系列视觉和语言任务上从经验上验证了我们的见解，证明风险控制可以产生大量的计算节约，同时保留用户指定的性能目标。

论文链接: https://arxiv.org/pdf/2405.20915

cs.AI: 使用单次相位恢复神经网络预测全息显微术的探测位置

原标题: Predicting ptychography probe positions using single-shot phase retrieval neural network

作者: Ming Du, Tao Zhou, Junjing Deng, Daniel J. Ching, Steven Henke, Mathew J. Cherukara

摘要: 相干衍射成像（Ptychography）是一种强大的成像技术，广泛应用于材料科学、生物学和纳米技术等领域。然而，重建的相干衍射成像的准确性高度依赖于记录的探测位置的准确性，而这些位置通常存在误差。这些误差通常通过数值优化方法与相位恢复一起进行校正。当误差沿扫描路径累积或误差幅度较大时，这些方法可能无法收敛并得到令人满意的结果。我们提出了一种基本新的方法，用于对具有大位置误差的数据进行相干衍射探测位置预测，其中使用神经网络对单次衍射图案进行相位恢复，从而得到每个扫描点的物体图像。然后，通过稳健的图像配准方法找到这些图像之间的成对偏移，并通过构建和解决线性方程组合得到完整的扫描路径。我们展示了我们的方法可以实现对具有大量累积误差（约为$10^2$像素）的数据的良好位置预测准确性，这种误差通常会导致基于优化的算法无法收敛。对于没有复杂位置控制设备（如干涉仪）的相干衍射仪器，我们的方法具有显著的实际潜力。

论文链接: https://arxiv.org/pdf/2405.20910

cs.AI: MALT: 多尺度动作学习Transformer用于在线动作检测

原标题: MALT: Multi-scale Action Learning Transformer for Online Action Detection

作者: Zhipeng Yang, Ruoyu Wang, Yang Tan, Liping Xie

机构: 东南大学 深圳研究院

摘要: 在线动作检测（OAD）旨在实时从流视频中识别正在进行的动作，而无需访问未来的帧。由于这些动作以不同粒度的尺度呈现，从粗到细不等，将整个动作帧集投影到单个潜在编码可能导致局部信息不足，需要跨多个尺度获取动作特征。在本文中，我们提出了一种多尺度动作学习Transformer（MALT），其中包括一种新颖的循环解码器（用于特征融合），具有更少的参数并且可以更有效地进行训练。进一步提出了具有多个编码分支的分层编码器，以捕获多尺度动作特征。然后，前一分支的输出逐渐输入到后续分支，作为交叉注意力计算的一部分。通过这种方式，随着分支的加深，输出特征从粗糙到精细过渡。我们还引入了一种明确的帧评分机制，采用稀疏注意力，更有效地过滤不相关的帧，而无需额外的网络。所提出的方法在两个基准数据集（THUMOS’14和TVSeries）上实现了最先进的性能，优于所有用于比较的现有模型，THUMOS’14的mAP为0.2％，TVseries的mcAP为0.1％。

论文链接: https://arxiv.org/pdf/2405.20892

cs.AI: 支付以取得更好的表现：学习智能体之间的支付游戏

原标题: Paying to Do Better: Games with Payments between Learning Agents

作者: Yoav Kolumbus, Joe Halpern, Éva Tardos

摘要: 在重复博弈中，比如拍卖，玩家通常使用学习算法来选择他们的行动。这种自主学习智能体的使用在在线平台上已经变得普遍。本文探讨了玩家将货币转移纳入他们的智能体算法中的影响，旨在激励有利于他们的行为。我们的重点是理解玩家何时有动机利用货币转移，这些支付如何影响学习动态，以及对福利及其在玩家中的分配有什么影响。我们提出了一个简单的博弈论模型来捕捉这样的情景。我们在一般游戏上的结果表明，在广泛的游戏类别中，玩家从让他们的学习智能体在游戏动态过程中向其他学习者支付款项中受益，而且在许多情况下，这种行为改善了所有玩家的福利。我们在一价和二价拍卖上的结果表明，在“支付政策游戏”的均衡中，智能体的动态可以达到对拍卖者收入较低的强烈串通结果。这些结果突显了在自动学习智能体可以从超出机制边界的同行交互中受益的系统中机制设计面临的挑战。

论文链接: https://arxiv.org/pdf/2405.20880

cs.AI: SelfGNN：用于序列推荐的自监督图神经网络

原标题: SelfGNN: Self-Supervised Graph Neural Networks for Sequential Recommendation

作者: Yuxi Liu, Lianghao Xia, Chao Huang

摘要: 顺序推荐通过对用户的时间和顺序交互模式进行建模，有效地解决了信息过载问题。为了克服监督信号的局限性，最近的方法在推荐系统中采用了自监督学习技术。然而，仍然存在两个尚未解决的关键挑战。首先，现有的顺序模型主要侧重于对个体交互序列的长期建模，忽视了不同用户行为之间宝贵的短期协作关系。其次，现实世界的数据通常包含噪音，特别是在用户的短期行为中，这可能来自临时意图或误点击。这种噪音对图和序列模型的准确性产生负面影响，进一步复杂化了建模过程。为了解决这些挑战，我们提出了一种名为自监督图神经网络（SelfGNN）的新框架，用于顺序推荐。SelfGNN框架基于时间间隔对短期图进行编码，并利用图神经网络（GNNs）学习短期协作关系。它通过间隔融合和动态行为建模，在多个粒度级别捕获长期用户和物品表示。重要的是，我们的个性化自增强学习结构通过减轻基于长期用户兴趣和个人稳定性的短期图中的噪音，增强了模型的鲁棒性。在四个真实世界数据集上进行的大量实验表明，SelfGNN优于各种最新基线模型。我们的模型实现代码可在此 https URL 上找到。

论文链接: https://arxiv.org/pdf/2405.20878

Github: https://github.com/HKUDS/SelfGNN

cs.AI: 调查事后修剪感知 CNN 的校准和对抗性鲁棒性：一项图像分类基准研究

原标题: Investigating Calibration and Corruption Robustness of Post-hoc Pruned Perception CNNs: An Image Classification Benchmark Study

作者: Pallavi Mitra, Gesina Schwalbe, Nadja Klein

机构: 大学洛贝克，多特蒙德技术大学

摘要: 卷积神经网络（CNNs）在许多计算机视觉任务中取得了最先进的性能。然而，高计算和存储需求阻碍了它们在资源受限环境（如嵌入式设备）中的部署。模型修剪通过减小模型大小，同时保持卓越性能，有助于满足这些限制。与此同时，安全关键应用不仅仅提出资源和性能约束。特别是，预测不能过于自信，即提供适当校准的不确定性估计（正确的不确定性校准），并且CNNs必须对诸如自然发生的输入扰动（自然破坏鲁棒性）之类的破坏具有鲁棒性。本研究探讨了当前研究状态下的后续CNN修剪技术在图像分类任务中的不确定性校准、自然破坏鲁棒性和性能之间的重要权衡。我们的研究表明，后续修剪显著改善了模型的不确定性校准、性能和自然破坏鲁棒性，为安全和鲁棒的嵌入式CNNs带来希望。此外，不确定性校准和自然破坏鲁棒性在修剪下并不是互斥的目标，后续非结构化修剪随着压缩的增加获得的安全性方面的改善证明了这一点。

论文链接: https://arxiv.org/pdf/2405.20876

cs.AI: 多头注意力的自动通道修剪

原标题: Automatic Channel Pruning for Multi-Head Attention

作者: Eunho Lee, Youngbae Hwang

机构: 中部大学

摘要: 尽管Transformer表现强劲，但其二次计算复杂性在将它们应用于视觉任务时存在挑战。自动修剪是一种减少计算复杂性的有效方法，而无需启发式方法。然而，直接将其应用于多头注意力并不直接，因为存在通道不对齐的问题。在本文中，我们提出了一种自动通道修剪方法，以考虑多头注意力机制。首先，我们将基于通道相似性的权重纳入修剪指示器，以保留每个头部中更多的信息通道。然后，我们调整修剪指示器，以强制在所有头部中按比例移除通道，从而防止通道不对齐。我们还添加了一个重新加权模块，以补偿由于通道移除而导致的信息丢失，以及一个有效的初始化步骤，用于基于原始结构和每个通道之间的注意力差异来修剪指示器。我们提出的方法不仅可用于原始注意力，还可用于线性注意力，后者相对于标记数量具有线性复杂性更高效。在ImageNet-1K上，将我们的修剪方法应用于包含两种注意力机制的FLattenTransformer，相比于先前的最先进高效模型和修剪方法，显示出更高的MACs准确性。代码将很快提供。

论文链接: https://arxiv.org/pdf/2405.20867

cs.AI: ABodyBuilder3: 改进和可扩展的抗体结构预测

原标题: ABodyBuilder3: Improved and scalable antibody structure predictions

作者: Henry Kenlay, Frédéric A. Dreyer, Daniel Cutting, Daniel Nissley, Charlotte M. Deane

机构: 牛津大学 2ImmuneBuilder

摘要: 准确预测抗体结构是单克隆抗体设计和开发中的核心任务，特别是为了理解它们的可发展性和结合特性。在本文中，我们介绍了ABodyBuilder3，这是一个基于ImmuneBuilder的改进和可扩展的抗体结构预测模型。通过利用语言模型嵌入，我们在CDR环的建模中实现了新的最先进准确性，并展示了如何通过谨慎的松弛策略进一步改进预测的结构。最后，我们将预测的局部距离差异测试纳入模型输出，以便更准确地估计不确定性。

论文链接: https://arxiv.org/pdf/2405.20863

cs.AI: SLIM：一种用于微服务中不平衡数据的可扩展轻量级根本原因分析。

原标题: SLIM: a Scalable Light-weight Root Cause Analysis for Imbalanced Data in Microservice

作者: Rui Ren, Jingbang Yang, Linxiao Yang, Xinyue Gu, Liang Sun

机构: 阿里巴巴集团大数据与人工智能实验室

摘要: 新部署的服务——一种变更服务，可能导致一种新类型的少数故障。现有的最先进的故障定位方法很少考虑变更服务中不平衡的故障分类。本文提出了一种利用决策规则集来处理高度不平衡数据的新方法，通过优化 F1 分数以满足基数约束。所提出的方法贪婪地生成具有最大边际增益的规则，并使用高效的 minorize-maximization（MM）方法迭代地选择规则，最大化非单调子模块下界。与现有的故障定位算法相比，我们的算法可以适应变更服务中的不平衡故障情景，并提供易于理解和验证的可解释故障原因。与当前的 SOTA 方法相比，我们的方法还可以在在线训练设置中部署，仅需约 15% 的训练开销。实证研究表明，我们的算法在准确性和模型可解释性方面优于现有的故障定位算法。

论文链接: https://arxiv.org/pdf/2405.20848

cs.AI: einspace: 从基本操作中搜索神经结构

原标题: einspace: Searching for Neural Architectures from Fundamental Operations

作者: Linus Ericsson, Miguel Espinosa, Chenhongyi Yang, Antreas Antoniou, Amos Storkey, Shay B. Cohen, Steven McDonagh, Elliot J. Crowley

机构: 爱丁堡大学 工程学院 信息学院

摘要: 神经架构搜索（NAS）可以为特定任务找到高性能网络。然而，NAS的结果相当平淡；例如，它们没有将卷积结构转变为Transformer。这主要是因为NAS中的搜索空间通常不够多样化，无法事先包含这种转变。因此，为了使NAS能够提供更大的基本设计转变潜力，我们需要一种基于更基本操作构建的新颖表达式搜索空间设计。为此，我们引入了einspace，这是一个基于参数化概率上下文无关文法的搜索空间。我们的空间是多功能的，支持各种大小和复杂性的架构，同时还包含多样化的网络操作，使其能够建模卷积、注意力组件等。它包含许多现有的竞争性架构，并为发现新架构提供了灵活性。利用这个搜索空间，我们进行实验，以在多样化的未见NAS数据集上找到新颖的架构以及对现有架构的改进。我们展示了通过从头开始搜索可以获得竞争性架构，并且在使用强基线初始化搜索时我们始终发现了巨大的改进。我们相信这项工作是朝着一个变革性的NAS范式迈出的重要进展，其中搜索空间的表达能力和战略搜索初始化发挥关键作用。

论文链接: https://arxiv.org/pdf/2405.20838

cs.AI: InsightSee: 推进多智能体视觉语言模型，增强视觉理解

原标题: InsightSee: Advancing Multi-agent Vision-Language Models for Enhanced Visual Understanding

作者: Huaxiang Zhang, Yaojia Mu, Guo-Niu Zhu, Zhongxue Gan

机构: 复旦大学 Academy for Engineering and Technology

摘要: 准确的视觉理解对于推进自主系统和智能机器人至关重要。尽管视觉语言模型（VLMs）在处理复杂的视觉场景方面具有强大的能力，但精确识别被遮挡或模糊呈现的视觉元素仍然具有挑战性。为了解决这些问题，本文提出了InsightSee，这是一个多智能体框架，旨在增强VLMs在处理复杂视觉理解场景中的解释能力。该框架包括一个描述智能体、两个推理智能体和一个决策智能体，它们被整合在一起以完善视觉信息解释的过程。介绍了这些智能体的设计以及它们在视觉信息处理中的增强机制。实验结果表明，InsightSee框架不仅提高了特定视觉任务的性能，而且保留了原始模型的优势。所提出的框架在9个基准测试中有6个取得了比现有算法更好的表现，在多模态理解方面取得了重大进展。

论文链接: https://arxiv.org/pdf/2405.20795

cs.AI: 通过离散潜在代码的低秩调整进行轨迹预测

原标题: Trajectory Forecasting through Low-Rank Adaptation of Discrete Latent Codes

作者: Riccardo Benaglia, Angelo Porrello, Pietro Buzzega, Simone Calderara, Rita Cucchiara

摘要: 轨迹预测对于视频监控分析至关重要，因为它能够预测一组代理人的未来移动，例如与长期意图进行复杂互动的篮球运动员。深度生成模型为轨迹预测提供了一种自然的学习方法，但它们在实现采样保真度和多样性之间的最佳平衡方面遇到困难。我们通过利用矢量量化变分自动编码器（VQ-VAEs）来解决这一挑战，后者利用离散潜在空间来解决后验坍缩问题。具体而言，我们引入了一个基于实例的码书，允许为每个示例定制潜在表示。简而言之，码书的行会动态调整以反映上下文信息（即从观察到的轨迹中提取的过去运动模式）。通过这种方式，离散化过程变得更加灵活，从而导致改进的重建。值得注意的是，通过低秩更新将实例级动态注入码书，这限制了码书的定制到一个较低维度空间。由此产生的离散空间成为随后步骤的基础，该步骤涉及基于扩散的预测模型的训练。我们展示了这样一个双重框架，增加了实例级离散化，可以产生准确且多样化的预测，从而在三个已建立的基准测试中实现了最先进的性能。

论文链接: https://arxiv.org/pdf/2405.20743

cs.AI: GANcrop：一种对抗联邦学习中后门攻击的对比防御方法

原标题: GANcrop: A Contrastive Defense Against Backdoor Attacks in Federated Learning

作者: Xiaoyun Gan, Shanyu Gan, Taizhi Su, Peng Liu

机构: 广西师范大学

摘要: 随着对数据隐私保护意识的提高，联邦学习（FL）作为一种保护隐私的分布式机器学习方法引起了广泛关注。然而，联邦学习的分布式特性也为后门攻击提供了机会，攻击者可以引导模型产生不正确的预测，而不影响全局模型训练过程。
本文介绍了一种新颖的防御机制，名为GANcrop，用于防范联邦学习中的后门攻击。该方法利用对比学习深入探索恶意和良性模型之间的差异，用生成对抗网络（GAN）恢复后门触发器并实施有针对性的缓解策略。实验结果表明，GANcrop有效地防范了后门攻击，特别是在非独立同分布场景下，同时保持了令人满意的模型准确性，展示了其卓越的防御效果和实用性。

论文链接: https://arxiv.org/pdf/2405.20727

cs.AI: ContextGS：具有锚点级上下文模型的紧凑3D高斯飞溅

原标题: ContextGS: Compact 3D Gaussian Splatting with Anchor Level Context Model

作者: Yufei Wang, Zhihao Li, Lanqing Guo, Wenhan Yang, Alex C. Kot, Bihan Wen

机构: 新加坡南洋理工大学 中国鹏城实验室

摘要: 最近，三维高斯飘逸（3DGS）已成为新视角合成的一个有前途的框架，提供快速渲染速度和高保真度。然而，大量的高斯函数及其相关属性需要有效的压缩技术。现有方法主要是单独和独立地压缩神经高斯函数，即同时对所有神经高斯函数进行编码，对它们的相互作用和空间依赖性设计较少。受图像压缩中上下文模型的有效性启发，我们在这项工作中提出了用于3DGS压缩的锚点级别的第一个自回归模型。我们将锚点分为不同级别，尚未编码的锚点可以基于所有更粗糙级别中已编码的锚点进行预测，从而实现更准确的建模和更高的编码效率。为了进一步提高熵编码的效率，例如对没有已编码锚点的最粗糙级别进行编码，我们提出引入低维量化特征作为每个锚点的超先验，这可以被有效地压缩。我们的工作在3DGS表示的锚点级别上引入了上下文模型，相比于基本的3DGS，实现了超过100倍的尺寸缩减，比最近的最先进工作Scaffold-GS高出15倍，同时实现了可比较甚至更高的渲染质量。

论文链接: https://arxiv.org/pdf/2405.20721

cs.AI: 考虑流行度的对齐和对比以减轻流行度偏见

原标题: Popularity-Aware Alignment and Contrast for Mitigating Popularity Bias

作者: Miaomiao Cai, Lei Chen, Yifan Wang, Haoyue Bai, Peijie Sun, Le Wu, Min Zhang, Meng Wang

机构: 合肥工业大学 清华大学 Quan Cheng实验室

摘要: 协同过滤（CF）通常受到真实世界数据集中物品分布不均匀所导致的流行度偏见的显著挑战。这种偏见导致流行和不流行物品之间存在显著的准确性差距。它不仅阻碍了准确的用户偏好理解，还加剧了推荐系统中的马太效应。为了减轻流行度偏见，现有的工作侧重于强调不流行的物品或者分离物品表示和它们的流行度之间的相关性。尽管有效，现有的工作仍然面临两个持久的挑战：（1）如何从流行物品中提取共同的监督信号以改进不流行物品的表示，以及（2）如何减轻由流行度偏见引起的表示分离。在这项工作中，我们对流行度偏见进行了实证分析，并提出了流行度感知对齐和对比（PAAC）来解决这两个挑战。具体而言，我们使用在流行物品表示中建模的共同监督信号，并提出了一种新颖的流行度感知监督对齐模块来学习不流行物品的表示。此外，我们建议重新加权对比学习损失，以减轻从流行度中心的角度引起的表示分离。最后，我们通过对三个真实世界数据集进行大量实验，验证了PAAC在减轻流行度偏见方面的有效性和合理性。我们的代码可在此 https URL 上找到。

论文链接: https://arxiv.org/pdf/2405.20718

Github: https://github.com/miaomiao-cai2/KDD2024-PAAC

cs.AI: 上下文决策 Transformer：通过分层思维链强化学习

原标题: In-Context Decision Transformer: Reinforcement Learning via Hierarchical Chain-of-Thought

作者: Sili Huang, Jifeng Hu, Hechang Chen, Lichao Sun, Bo Yang

机构: 清华大学 百度

摘要: 上下文学习是离线强化学习（RL）处理在线任务的一种有前途的方法，可以通过提供任务提示来实现，最近的研究表明，在上下文RL中，当将RL任务视为跨情节顺序预测问题时，可以通过自我改进以试错的方式出现。尽管自我改进不需要梯度更新，但当前的研究在跨情节序列随任务视野增加时仍然面临高计算成本的问题。为此，我们提出了一种上下文决策Transformer（IDT），以实现高水平的试错自我改进。具体而言，IDT受到人类决策高效分层结构的启发，因此重构序列，使其由高水平决策而不是与环境交互的低水平动作组成。由于一个高水平决策可以引导多步低水平动作，IDT自然地避免了过长的序列，并更有效地解决在线任务。实验结果表明，IDT在长视野任务上实现了当前上下文RL方法的最新技术水平。特别是，我们的IDT的在线评估时间在D4RL基准测试中比基线快\textbf{36$\times$}倍，在Grid World基准测试中比基线快\textbf{27$\times$}倍。

论文链接: https://arxiv.org/pdf/2405.20692

cs.AI: 无需训练数据的条件生成对抗网络

原标题: Conditioning GAN Without Training Dataset

作者: Kidist Amde Mekonnen

机构: 特伦托大学

摘要: 深度学习算法通常具有成千上万甚至更多可训练参数。训练这种算法需要大量的训练数据，为这些算法生成足够大的数据集成本高。GANs是生成式神经网络，使用两个相互竞争的深度学习网络，即生成器和鉴别器网络。生成器试图生成类似实际训练数据集的逼真图像，通过逼近训练数据分布，而鉴别器则被训练为将图像分类为真实或伪造（生成的）。训练这些GAN算法也需要大量的训练数据集。本研究旨在解决一个问题：“在给定一个无条件预训练生成器网络和一个预训练分类器的情况下，是否可以开发一个有条件生成器而不依赖于任何训练数据集？”论文以对问题的一般介绍开始。接下来的部分结构如下：第2节提供了关于问题的背景信息。第3节回顾了关于该主题的相关文献。第4节概述了本研究采用的方法。第5节呈现了实验结果。第6节讨论了研究结果并提出了潜在的未来研究方向。最后，第7节提供了结论性的评论。实现可以通过此链接访问。

论文链接: https://arxiv.org/pdf/2405.20687

Github: https://github.com/kidist-amde/BigGAN-PyTorch

cs.AI: 没有免费午餐定理适用于隐私保护的大语言模型推理

原标题: No Free Lunch Theorem for Privacy-Preserving LLM Inference

作者: Xiaojin Zhang, Yulin Fei, Yan Kang, Wei Chen, Lixin Fan, Hai Jin, Qiang Yang

机构: 华中科技大学 中国 WeBank 中国 香港科技大学 中国

摘要: 个人和企业在各种方式上都受益于大语言模型（LLMs），包括 PaLM、Gemini 和 ChatGPT。例如，LLMs 提高了生产率，降低了成本，并使我们能够专注于更有价值的任务。此外，LLMs 具有筛选大量数据集、发现潜在模式并提供推动技术和科学前沿的关键见解的能力。然而，LLMs 也带来了隐私问题。用户与LLMs 的互动可能会暴露他们的敏感个人或公司信息。缺乏强有力的隐私保障和法律框架可能会允许未经授权的侵入或不当处理个人数据，从而冒着侵犯隐私和盗窃个人身份的风险。为了确保隐私，最重要的是要最小化共享提示和私人信息之间的依赖关系。已经提出了各种随机化方法来保护提示的隐私，但与未受保护的LLMs提示相比，它们可能会带来效用损失。因此，在进行有效的保护机制时，评估隐私泄露风险和效用损失之间的平衡至关重要。本研究开发了一个推断受保护隐私的大语言模型（LLMs）的框架，并为检验隐私保护和效用之间的相互作用奠定了坚实的理论基础。核心见解被概括在一个被称为 NFL（No-Free-Lunch 的缩写）定理中。

论文链接: https://arxiv.org/pdf/2405.20681

cs.AI: Adv-KD：对抗知识蒸馏，用于更快的扩散抽样

原标题: Adv-KD: Adversarial Knowledge Distillation for Faster Diffusion Sampling

作者: Kidist Amde Mekonnen, Nicola Dall’Asen, Paolo Rota

机构: 特伦托大学

摘要: 扩散概率模型（DPMs）已经成为一类强大的深度生成模型，在图像合成任务中表现出色。然而，这些模型在广泛应用方面面临挑战，因为它们在样本生成过程中依赖于顺序去噪步骤。这种依赖性导致了大量的计算需求，使它们不适用于资源受限或实时处理系统。为了解决这些挑战，我们提出了一种新颖的方法，将去噪阶段直接整合到模型的架构中，从而减少对资源密集型计算的需求。我们的方法通过知识蒸馏将扩散模型与生成对抗网络（GANs）相结合，实现更高效的训练和评估。通过利用预训练的扩散模型作为教师模型，我们通过对抗学习训练一个学生模型，利用逐层转换进行去噪和子模块预测教师模型在不同时间点的输出。这种整合显著减少了所需的参数数量和去噪步骤，从而提高了测试时的采样速度。我们通过大量实验证实了我们的方法，展示了与现有方法相比具有较低的计算需求但性能可比的表现。通过在资源受限设备上部署扩散模型，我们的研究减轻了它们的计算负担，并为更广泛的研究社区和最终用户提供了更便捷和实用的使用途径。
我们的代码公开可用，链接为 https://此处为URL。

论文链接: https://arxiv.org/pdf/2405.20675

Github: https://github.com/kidist-amde/Adv-KD

cs.AI: 学习注视感知的组合生成对抗网络

原标题: Learning Gaze-aware Compositional GAN

作者: Nerea Aranjuelo, Siyu Huang, Ignacio Arganda-Carreras, Luis Unzueta, Oihana Otaegui, Hanspeter Pfister, Donglai Wei

机构: Fundación Vicomtech Basque Research and Technology Alliance Spain Clemson University USA University of the Basque Country Ikerbasque Donostia International Physics Center Biofisika Institute Harvard John A. Paulson School of Engineering and Applied Sciences Boston College

摘要: 注视注释的面部数据对于训练深度神经网络（DNN）进行凝视估计至关重要。然而，由于准确注释主体凝视方向的挑战，获取这些数据是劳动密集型的，并且需要专门的设备。在这项工作中，我们提出了一个生成框架，通过利用标记和未标记数据源的优势来创建带注释的凝视数据。我们提出了一个注视感知组合 GAN，它学习从有限的标记数据集生成带注释的面部图像。然后我们将这个模型转移到一个未标记数据域，以利用它提供的多样性。实验证明了我们方法在生成 ETH-XGaze 数据集内域图像增强和 CelebAMask-HQ 数据集域的跨域增强方面在凝视估计 DNN 训练中的有效性。我们还展示了我们工作的其他应用，包括面部图像编辑和凝视重定向。

论文链接: https://arxiv.org/pdf/2405.20643

cs.AI: 视觉语言遇上骨架：逐步蒸馏跨模态知识，用于3D动作表示学习

原标题: Vision-Language Meets the Skeleton: Progressively Distillation with Cross-Modal Knowledge for 3D Action Representation Learning

作者: Yang Chen, Tian He, Junfeng Fu, Ling Wang, Jingcai Guo, Hong Cheng

机构: 清华大学 百度

摘要: 监督学习和自监督学习是基于骨架的人体动作识别的两种主要训练范式。然而，前者需要耗费大量人力预定义动作类别注释，而后者涉及在假设任务中进行骨架转换（例如裁剪），这可能会损害骨架结构。为了解决这些挑战，我们引入了一种基于交叉模态对比学习的新型基于骨架的训练框架（C${}^2$VL），该框架利用渐进蒸馏从视觉-语言知识提示中学习任务不可知的人体骨架动作表示。具体而言，我们通过预训练的大型多模态模型（LMMs）生成的视觉-语言知识提示建立视觉-语言动作概念空间，这些提示丰富了骨架动作空间缺乏的细粒度细节。此外，我们在交叉模态对比过程中提出了内模态自相似性和跨模态交叉一致性软化目标，逐渐控制和引导将视觉-语言知识提示和相应骨架拉近的程度。这些软实例区分和自知识蒸馏策略有助于从嘈杂的骨架-视觉-语言对中学习更好的基于骨架的动作表示。在推断阶段，我们的方法仅需要骨架数据作为动作识别的输入，不再需要视觉-语言提示。大量实验证明，我们的方法在NTU RGB+D 60、NTU RGB+D 120和PKU-MMD数据集上取得了最先进的结果。代码将在未来提供。

论文链接: https://arxiv.org/pdf/2405.20606

cs.AI: 寻找深度学习背后的内部符号

原标题: Searching for internal symbols underlying deep learning

作者: Jung H. Lee, Sujith Vijayan

机构: 太平洋西北国家实验室 弗吉尼亚理工学院

摘要: 深度学习（DL）使深度神经网络（DNNs）能够在没有指导原则或指导原则的情况下自动从给定示例中学习复杂任务或规则。由于我们不对DNNs的功能进行工程设计，因此极其困难诊断它们的决策，而且有多条研究线提出了解释DNNs/DL操作原则的建议。值得注意的是，一条研究线暗示DNNs可能学习概念，即对人类可识别的高级特征。因此，我们假设DNNs发展了抽象代码，不一定被人类识别，但可以用来增强DNNs的决策。为了验证这一假设，我们结合了基础分割模型和无监督学习，提取内部代码并确定抽象代码的潜在用途，以使DL的决策更可靠和更安全。

论文链接: https://arxiv.org/pdf/2405.20605

cs.AI: 通过优化LSTM模型性能和比较分析来推进金融风险预测

原标题: Advancing Financial Risk Prediction Through Optimized LSTM Model Performance and Comparative Analysis

作者: Ke Xu, Yu Cheng, Shiqing Long, Junjie Guo, Jue Xiao, Mengfang Sun

机构: 哥伦比亚大学 斯蒂文斯理工学院 康涅狄格大学商学院 罗格斯大学 独立研究者

摘要: 本文重点讨论了LSTM模型在金融风险预测中的应用和优化。研究从概述LSTM的架构和算法基础开始，然后详细介绍了模型训练过程和超参数调优策略，并通过实验调整网络参数以提高性能。比较实验证明，优化后的LSTM模型在AUC指数上与随机森林、BP神经网络和XGBoost相比具有显著优势，验证了其在金融风险预测领域的高效性和实用性，特别是其处理复杂时间序列数据的能力，为模型在实际生产环境中的应用奠定了坚实基础。

论文链接: https://arxiv.org/pdf/2405.20603

cs.AI: 深度学习无权重对称

原标题: Deep Learning without Weight Symmetry

作者: Li Ji-An, Marcus K. Benna

机构: 加州大学圣地亚哥分校 Neurosciences Graduate Program Department of Neurobiology

摘要: 反向传播（BP）是训练人工神经网络的基础算法，在当代深度学习中占主导地位。尽管取得了巨大成功，但它通常被认为在生物学上是不可行的。一个重要的局限性来自于需要在反向和正向路径之间精确对称的连接，以便准确地反向传播梯度信号，而这种对称性在生物大脑中并未观察到。研究人员提出了几种算法来缓解这种对称性约束，例如反馈对齐和直接反馈对齐。然而，它们与反向传播动态的偏离在更深的网络和卷积层中提出了挑战。在这里，我们介绍了产品反馈对齐（PFA）算法。我们的研究结果表明，PFA 紧密逼近了 BP，并在深度卷积网络中取得了可比较的性能，同时避免了显式的权重对称性。我们的结果为长期存在的权重对称性问题提供了新颖的解决方案，从而相比早期方法在深度卷积网络中实现了更具生物学可行性的学习。

论文链接: https://arxiv.org/pdf/2405.20594

cs.AI: 链接：通过对机构合成的设计空间和性能空间进行对比学习学习联合表示

原标题: LInK: Learning Joint Representations of Design and Performance Spaces through Contrastive Learning for Mechanism Synthesis

作者: Amin Heyrani Nobari, Akash Srivastava, Dan Gutfreund, Kai Xu, Faez Ahmed

机构: 麻省理工学院 IBM研究院

摘要: 在这篇论文中，我们介绍了LInK，这是一个新颖的框架，将性能和设计空间的对比学习与优化技术相结合，用于解决工程设计中涉及离散和连续变量的复杂反问题。我们专注于平面连杆机构的路径合成问题。通过利用多模态和变换不变的对比学习框架，LInK学习到一个捕捉机构复杂物理和设计表示的联合表示，使得能够快速从超过1000万个机构的庞大数据集中检索。这种方法通过层次无约束非线性优化算法的热启动提高了精度，结合了传统优化的稳健性和现代深度学习方法的速度和适应性。我们在现有基准测试上的结果表明，与最先进方法相比，LInK的误差减少了28倍，而在现有基准测试上所需的时间减少了20倍。此外，我们引入了一个更具挑战性的基准测试，名为LINK-ABC，其中涉及合成追踪英文大写字母轨迹的连杆 - 一个逆设计基准任务，由于大量非线性和微小的可行空间，现有方法难以处理。我们的结果表明，LInK不仅推动了机构设计领域的发展，还将对比学习和优化的适用性拓展到工程的其他领域。

论文链接: https://arxiv.org/pdf/2405.20592

cs.AI: 基于类别的时间序列数据增强以减轻太阳耀斑预测中的极端类别不平衡

原标题: Class-Based Time Series Data Augmentation to Mitigate Extreme Class Imbalance for Solar Flare Prediction

作者: Junzhi Wen, Rafal A. Angryk

机构: 乔治亚州立大学

摘要: 时间序列数据在各个领域中发挥着至关重要的作用，对于决策和预测建模具有价值。机器学习（ML）和深度学习（DL）在这方面表现出了潜力，但它们的性能取决于数据质量和数量，通常受到数据稀缺和类别不平衡的限制，特别是对于像太阳耀斑这样的罕见事件。数据增强技术提供了一个潜在的解决方案来解决这些挑战，然而它们在多变量时间序列数据集上的有效性仍未得到充分探讨。在这项研究中，我们提出了一种针对时间序列数据的新型数据增强方法，名为均值高斯噪声（MGN）。我们比较了MGN与八种现有基本数据增强方法在用于太阳耀斑预测的多变量时间序列数据集SWAN-SF上的性能，使用了一个针对时间序列数据的机器学习算法TimeSeriesSVC。结果表明MGN的有效性，并突显了它在极度不平衡数据情境下改善分类性能的潜力。我们的时间复杂度分析显示，与研究的替代方法相比，MGN在计算成本上也具有竞争力。

论文链接: https://arxiv.org/pdf/2405.20590

cs.AI: 个性化联邦学习中基于容量异质性的选择性知识共享

原标题: Selective Knowledge Sharing for Personalized Federated Learning Under Capacity Heterogeneity

作者: Zheng Wang, Zheng Wang, Zhaopeng Peng, Zihui Wang, Cheng Wang

摘要: 联邦学习（FL）有望从协同训练容量异构模型中获得显著优势，从而实现利用低容量设备的私有数据和计算能力。然而，基于客户特定数据的个性化容量异构模型的关注有限，导致局部模型效用不佳，特别是对于低容量客户。数据和设备容量的异质性为模型个性化提出了两个关键挑战：1）准确保留嵌入在每个客户的减小子模型中的必要知识，2）通过聚合大小变化的参数有效地共享知识。为此，我们介绍了Pa3dFL，这是一个旨在通过解耦和有选择地共享容量异构模型之间的知识来增强局部模型性能的新框架。首先，我们将模型的每一层分解为通用参数和个性参数。然后，我们在客户端之间保持通用参数的统一大小，并通过直接平均对其进行聚合。随后，我们使用超网络来生成可学习嵌入的客户端的大小变化的个性参数。最后，我们通过自注意力模块通过聚合客户端嵌入来促进个性参数的隐式聚合。我们在三个数据集上进行了大量实验，以评估Pa3dFL的有效性。我们的研究结果表明，Pa3dFL在各种异质性设置下始终优于基线方法。此外，与基线方法相比，Pa3dFL在通信和计算效率上表现出竞争力，突显了其在不利系统条件下的实用性和适应性。

论文链接: https://arxiv.org/pdf/2405.20589

cs.AI: 扰乱扩散：针对基于扩散的定制化的 Token 级注意力抹除攻击

原标题: Disrupting Diffusion: Token-Level Attention Erasure Attack against Diffusion-based Customization

作者: Yisu Liu, Jinyang An, Wanqian Zhang, Dayan Wu, Jingzi Gu, Zheng Lin, Weiping Wang

机构: 中国科学院信息工程研究所

摘要: 随着基于扩散的定制方法（如DreamBooth）的发展，个人现在可以训练能够生成其个性化图像的模型。尽管这种便利，恶意用户已经滥用这些技术来创建虚假图像，从而引发了隐私安全危机。鉴于此，提出了积极的对抗性攻击来保护用户免受定制的影响。对抗性示例被训练用于扭曲定制模型的输出，从而阻止滥用。在本文中，我们提出了DisDiff（Disrupting Diffusion），一种新颖的对抗性攻击方法，用于干扰扩散模型的输出。我们首先深入研究了内在的图像-文本关系，即众所周知的交叉注意力，经验性地发现主题标识符令牌在引导图像生成中起着重要作用。因此，我们提出了交叉注意力擦除模块，明确地“擦除”指示的注意力图，并干扰文本引导。此外，我们分析了扩散模型的采样过程对于投影梯度下降（PGD）攻击的影响，并引入了一种新颖的优势采样调度器，以适应性地调节扰动更新幅度，以一种逐步感知的方式。我们的DisDiff在两个面部基准和两个常用提示上平均优于现有方法12.75%的FDFR分数和7.25%的ISM分数。

论文链接: https://arxiv.org/pdf/2405.20584

cs.AI: 机器学习能帮助诊断原发性免疫性血小板减少症吗？一项可行性研究

原标题: Can Machine Learning Assist in Diagnosis of Primary Immune Thrombocytopenia? A feasibility study

作者: Haroon Miah, Dimitrios Kollias, Giacinto Luca Pedone, Drew Provan, Frederick Chen

摘要: 初级免疫性血小板减少症（ITP）是一种罕见的自身免疫性疾病，其特征是患者外周血小板受免疫介导破坏，导致血小板计数降低和出血。ITP的诊断和有效管理具有挑战性，因为目前没有确诊该疾病的已建立测试，也没有生物标志物可以预测治疗反应和预后。在这项工作中，我们进行了一项可行性研究，检查机器学习是否可以有效应用于使用常规血液检测和人口统计数据在非急性门诊环境中诊断ITP。我们应用了来自英国成人ITP登记处和一般血液学诊所的数据，包括逻辑回归、支持向量机、k-最近邻、决策树和随机森林等各种机器学习模型。研究了两种不同的方法：一种是不考虑人口统计信息的，另一种是考虑人口统计信息的。我们进行了大量实验来评估这些模型和方法的预测性能，以及它们的偏差。结果显示，决策树和随机森林模型均表现出色，几乎完美的预测和公平性评分，血小板计数被确定为最重要的变量。未提供人口统计信息的模型在预测准确性方面表现更好，但显示出较低的公平性评分，说明了预测性能和公平性之间的权衡。

论文链接: https://arxiv.org/pdf/2405.20562

cs.AI: 为深度神经网络证明全局鲁棒性

原标题: Certifying Global Robustness for Deep Neural Networks

作者: You Li, Guannan Zhao, Shuyu Kong, Yunqi He, Hai Zhou

摘要: 一个全球性强大的深度神经网络能够抵抗所有有意义输入的扰动。当前的鲁棒性认证方法强调局部鲁棒性，难以扩展和泛化。本文提出了一种系统化和高效的方法来评估和验证深度神经网络的全局鲁棒性，利用 PAC 验证框架为验证结果提供可靠保证。我们利用概率程序来表征有意义的输入区域，为全局鲁棒性设定了一个现实标准。此外，我们引入了累积鲁棒性曲线作为评估全局鲁棒性的标准。我们设计了一种统计方法，结合多级分割和回归分析进行估计，显著减少了执行时间。实验结果表明了我们的验证方法的效率和有效性，以及其发现稀有和多样对抗训练反例的能力。

论文链接: https://arxiv.org/pdf/2405.20556

cs.AI: 朝向通用图神经网络框架的组合优化

原标题: Towards a General GNN Framework for Combinatorial Optimization

作者: Frederik Wenkel, Semih Cantürk, Michael Perlmutter, Guy Wolf

摘要: 图神经网络（GNNs）在节点分类、图分类和链接预测等各种任务中取得了巨大成功。然而，利用GNNs（以及更普遍的机器学习）来解决组合优化（CO）问题的研究要少得多。在这里，我们介绍了一种新颖的GNN架构，利用复杂的滤波器组和局部注意机制，旨在解决图上的CO问题。我们展示了我们的方法如何与先前基于GNN的CO求解器有所不同，以及如何在自监督学习环境中有效应用于最大团、最小支配集和最大割问题。除了展示在所有任务中具有竞争力的整体性能外，我们还为最大割问题建立了最新的成果。

论文链接: https://arxiv.org/pdf/2405.20543