码农的科研笔记

本论文提出了一种新的个性化联邦学习方法FedSDR，旨在解决异构联邦客户端中的捷径学习问题。实验主要验证FedSDR在不同数据集上的性能，以及与现有方法的对比。实验场景包括图像分类任务，其中存在捷径特征（如背景颜色或环境），这些特征在训练数据中与标签高度相关，但在测试数据中可能变化。本论文针对个性化联邦学习(PFL)中的捷径陷阱问题，提出了一种联邦捷径发现与消除方法(FedSDR)。通过构建异构客户端的结构因果模型，设计了协作式捷径特征发现和基于个性化因果不变表示的捷径消除方法。

本论文提出了一个可以跨领域预训练的推荐系统模型PreRec。实验主要验证PreRec在新的目标领域上的推荐性能，包括零样本场景和微调场景。实验涉及跨市场(不同国家的Amazon市场)和跨平台(Amazon与Online Retail)两种跨域场景。本论文针对预训练推荐系统中的域内偏差和跨域偏差问题,提出了一种名为PreRec的因果去偏视角方法。PreRec通过引入显式和隐式的混杂因子来建模不同类型的偏差,并使用因果干预机制来消除这些偏差的影响。

PlanRAG(Plan-then-Retrieval Augmented Generation)是一种新型的检索增强生成技术,旨在解决复杂的决策问题。传统的RAG(Retrieval Augmented Generation)技术在处理需要多步推理的复杂决策问题时往往力不从心。PlanRAG的核心思想是在检索和回答之前先进行规划,并在必要时进行重新规划,从而提高决策的准确性和效率。举个例子,想象你是一家连锁药店的经理,需要决定在哪个城市开设新店以最大化利润。

本文提出了一种从单幅图像生成自然振荡动态视频的方法,实验部分主要通过定量和定性评估,验证所提出方法生成视频的质量,以及与其他基线方法的对比效果。本论文针对单图像生成自然运动过程的问题,提出了一种基于频谱体积(spectral volume)表征和扩散模型的运动预测方法。通过预测图像各像素在时域上的Fourier系数,实现了高效、长时间尺度上的图像动画合成。实验结果表明,所提出的方法能够以频率自适应归一化和频率协同去噪等创新点,生成更加真实、连贯的各类自然场景动态视频。

该论文提出了一个基于Transformer的life2vec模型,用于处理大规模人口注册数据,并在早期死亡率预测和人格预测两个任务上进行了实验验证。实验主要探究模型预测性能、概念嵌入空间的语义结构以及个体表示向量等方面。本论文针对利用社会经济和医疗数据预测个人生活轨迹和生活结果的问题,提出了一种基于Transformer的life2vec模型。通过将生活事件序列映射到高维嵌入空间,并利用该嵌入表示进行下游预测任务,该模型在预测早期死亡率和个性细微差别等任务上取得了优于现有最佳方法的效果。

本文提出了一种结合大语言模型(LLM)和自动规划器的混合方法TRIP-PAL用于旅行规划。实验主要对比了GPT-4和TRIP-PAL在不同规模的一日游规划任务上生成的旅行规划的质量。本论文针对旅行规划问题,提出了一种结合大语言模型(LLM)和自动规划器(automated planner)的混合方法TRIP-PAL。该方法利用LLM从用户需求中提取相关的旅行信息,并将其转化为规划器可接受的形式。之后,规划器在满足各种约束条件的前提下,生成最大化用户效用的最优旅行计划。

该论文提出了一个高效的因果发现算法CCPG,可以用多项式数量级的条件独立性检验来恢复因果图的一个粗粒度表示。实验部分主要验证CCPG在合成和实际数据集上的运行效率和性能。本论文针对因果结构学习中条件独立性测试开销过高的问题,提出了一种高效的算法,通过多项式数量级的条件独立性测试,学习一个因果图的粗粒度表示(CCPG)。该表示由顶点的一个划分以及定义在划分组件上的有向无环图组成,并满足一定的一致性和优先更细粒度划分的性质。

本文提出了一个新颖的基于图神经网络的问答推荐模型QAGCF,通过多视图方法解纠缠协同信息和语义信息。论文实验的核心是验证QAGCF相比现有模型在推荐准确性上的优势,以及分析其内部机制。本论文针对Question and Answer (Q&A)平台的推荐任务,提出了一种新颖的图神经网络模型QAGCF。QAGCF采用多视图方法,从协同视图和语义视图分别构建用户-问题、用户-答案二部图以及问题-答案、问题-问题图,以解开问题-答案对的协同信息和语义信息。

本文提出了一个新颖的基于图神经网络的问答推荐模型QAGCF,通过多视图方法解纠缠协同信息和语义信息。论文实验的核心是验证QAGCF相比现有模型在推荐准确性上的优势,以及分析其内部机制。本论文针对Question and Answer (Q&A)平台的推荐任务,提出了一种新颖的图神经网络模型QAGCF。QAGCF采用多视图方法,从协同视图和语义视图分别构建用户-问题、用户-答案二部图以及问题-答案、问题-问题图,以解开问题-答案对的协同信息和语义信息。

在非随机观测数据中,由于缺乏反事实信息,真实的处理效应无法获得。因此论文使用模拟数据和半合成基准数据来测试所提出方法和其他基线模型的性能。PDIG是否有助于通过路径一(Path I,即学习更有效的平衡模式而不影响因果结果预测)来改善ITE估计?PPBR是否有助于通过路径二(Path II,即在不影响学习平衡模式的情况下改善因果结果预测)来改善ITE估计?在基准数据集上,所提出的DIGNet模型能否优于其他基线模型?

本文提出了一种新的VAE框架,通过批特征交换与潜在一致性损失,使学习到的潜在表征具有更好的可解释性、结构性和解纠缠特性。实验旨在验证该方法在人脸与人体3D网格生成任务中的有效性。本论文针对3D生成模型中潜在表示解耦的问题,提出了一种基于Mini-Batch特征交换和潜在一致性损失的自监督方法。通过在Mini-Batch内的样本间交换预定义的网格特征并约束对应潜变量的相似性,实现了对身体和面部3D网格的特征级解耦生成控制。实验结果表明,所提方法能够学习到更加解释性强、结构化的潜在表示,生成效果优于现有方法。

论文提出了一种名为STEP-BACK PROMPTING的新方法，旨在通过抽象和推理两个步骤来提高大型语言模型在复杂推理任务上的表现。这一方法的灵感来源于人类在面对复杂问题时常常会先退一步，从更高的层次上进行抽象，得到指导问题求解的概念或原理。STEP-BACK PROMPTING的第一步是通过少量示例来演示如何进行抽象，即提示模型从给定的具体问题中抽取出高层次的概念或原理。第二步是在这些高层次概念或原理的基础上进行推理，以得出原始问题的答案。

论文将提示优化问题定义为一个马尔可夫决策过程(MDP)，用元组表示。其中，表示状态空间，每个状态对应一个提示的版本；为动作空间，每个动作是基于模型错误反馈生成的修改；定义状态转移函数；是回报函数，用于评估新生成的提示在验证集上的性能。给定当前状态，PromptAgent迭代地基于生成动作，其中是一个优化器语言模型，是用于辅助动作生成的元提示。接着，PromptAgent根据状态转移函数得到新的状态，是帮助状态转移更新提示的另一个元提示。最后，新生成状态应用动作后的质量由回报函数决定。

该论文提出了一种高效的LLM prompting技术BatchPrompt,通过将多个样本批量输入到prompt中,提高token利用率。BatchPrompt使用Batch Permutation and Ensembling (BPE)方法进一步提高性能,并提出Self-reflection-guided EArly Stopping (SEAS)技术降低token使用和LLM调用次数。论文实验主要在3个NLP任务数据集上评估BatchPrompt的有效性。

结合论文原文，我们可以用一个简单的例子（完整方法见详细原文）来说明这个方法。假设我们是一家提供股票投资建议的金融科技公司。我们基于一个大型语言模型(LLM)开发了一个智能投资助理,可以根据用户输入的公司信息,自动生成一份投资分析报告,包括公司的基本面、行业前景、风险因素等,并给出投资建议。但是,我们的竞争对手想要通过BadChain攻击我们的LLM模型,在生成的报告中插入误导性的信息,损害我们的声誉和客户的利益。用户输入的公司信息:"请分析一下美国电动汽车制造商特斯拉(TSLA)的投资前景。

该论文提出了一个开源的通用机器人操作策略Octo,论文实验主要评估Octo在零样本多机器人控制和few-shot策略微调中的性能,以及不同设计决策的影响。本论文针对如何训练一个通用的机器人控制策略这一问题,提出了一个名为Octo的Transformer模型。通过在大规模多机器人数据集上预训练,再在小规模目标领域数据上微调的方式,Octo可以灵活适应新的观察和动作空间,实现了跨机器人和跨任务的强大泛化能力。实验结果表明,Octo在零样本和少样本场景下都取得了优异的表现,为构建通用机器人智能迈出了重要一步。

该论文提出了一个处理图神经网络节点级别分布差异的因果干预方法CaNet。实验主要在节点属性预测任务中,验证CaNet相比其他模型在训练集和测试集节点分布不一致情况下的泛化优势。同时通过消融实验、超参数分析等进一步探究模型内部机制。本论文针对图神经网络在面对分布偏移时泛化能力较差的问题,从因果分析的角度揭示了其根源在于未观测到的环境混淆因素。基于此分析,提出了一种通过因果干预改进图神经网络泛化性的方法CaNet。

该论文提出了一个多模态因果结构学习方法MULAN用于微服务系统的根本原因定位。论文实验旨在验证MULAN在多个真实数据集上的性能,以及各关键模块的有效性。本论文针对微服务系统中的根因定位问题,提出了一种多模态因果结构学习方法MULAN。该方法利用面向日志的语言模型将非结构化日志转化为时序数据,通过对比学习提取模态不变和模态特定的表示,并设计了KPI感知的注意力机制来评估模态可靠性。最后通过随机游走模拟故障传播,识别出最可能的根因。

论文研究了如何使用因果图来回答二元因果问题。给定一个自然语言因果问题，如"X是否导致Y"，其中X和Y分别代表一个原因和结果概念。论文的目标是学习在因果图上找到一条从原因概念指向结果概念的路径。如果能找到这样的路径，则问题的答案为"是"，否则答案为"否"。图1展示了一个因果图的例子以及如何在图上回答因果问题"肺炎是否导致贫血"的过程。首先原因概念"肺炎"和结果概念"贫血"被链接到因果图中对应的实体节点。然后从"肺炎"节点开始搜索指向"贫血"节点的路径。

该论文提出了一个考虑个性化流行度(Personal Popularity, PP)的因果推理框架PPAC，用于缓解推荐系统中的全局流行度偏差(Global Popularity Bias)问题。实验主要评估PPAC在不同数据集和基础模型上的性能表现，以及验证其去偏能力。本论文针对推荐系统中存在的全局流行度偏差(GP bias)问题,提出了一种新的衡量物品流行度的指标--个性化流行度(Personal Popularity,简称PP)。