- 博客(95)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 因果解耦表征 | (香港理工ICLR24)联合学习个性化因果不变表示以应对异构联邦客户端
本论文提出了一种新的个性化联邦学习方法FedSDR，旨在解决异构联邦客户端中的捷径学习问题。实验主要验证FedSDR在不同数据集上的性能，以及与现有方法的对比。实验场景包括图像分类任务，其中存在捷径特征（如背景颜色或环境），这些特征在训练数据中与标签高度相关，但在测试数据中可能变化。本论文针对个性化联邦学习(PFL)中的捷径陷阱问题，提出了一种联邦捷径发现与消除方法(FedSDR)。通过构建异构客户端的结构因果模型，设计了协作式捷径特征发现和基于个性化因果不变表示的捷径消除方法。
2024-06-30 17:21:09
849
原创 推荐系统(LLM去偏?) | (WSDM24)预训练推荐系统:因果去偏视角
本论文提出了一个可以跨领域预训练的推荐系统模型PreRec。实验主要验证PreRec在新的目标领域上的推荐性能，包括零样本场景和微调场景。实验涉及跨市场(不同国家的Amazon市场)和跨平台(Amazon与Online Retail)两种跨域场景。本论文针对预训练推荐系统中的域内偏差和跨域偏差问题,提出了一种名为PreRec的因果去偏视角方法。PreRec通过引入显式和隐式的混杂因子来建模不同类型的偏差,并使用因果干预机制来消除这些偏差的影响。
2024-06-26 17:11:57
1057
原创 RAG | (ACL24规划-检索增强)PlanRAG：一种用于生成大型语言模型作为决策者的规划检索增强生成方法
PlanRAG(Plan-then-Retrieval Augmented Generation)是一种新型的检索增强生成技术,旨在解决复杂的决策问题。传统的RAG(Retrieval Augmented Generation)技术在处理需要多步推理的复杂决策问题时往往力不从心。PlanRAG的核心思想是在检索和回答之前先进行规划,并在必要时进行重新规划,从而提高决策的准确性和效率。举个例子,想象你是一家连锁药店的经理,需要决定在哪个城市开设新店以最大化利润。
2024-06-23 10:03:16
936
原创 CVPR24最佳论文 | 谷歌：生成图像动力学
本文提出了一种从单幅图像生成自然振荡动态视频的方法,实验部分主要通过定量和定性评估,验证所提出方法生成视频的质量,以及与其他基线方法的对比效果。本论文针对单图像生成自然运动过程的问题,提出了一种基于频谱体积(spectral volume)表征和扩散模型的运动预测方法。通过预测图像各像素在时域上的Fourier系数,实现了高效、长时间尺度上的图像动画合成。实验结果表明,所提出的方法能够以频率自适应归一化和频率协同去噪等创新点,生成更加真实、连贯的各类自然场景动态视频。
2024-06-20 07:52:31
1058
原创 Nature子刊！丹麦全国人口数据投喂大模型，用来预测寿命了（逆天改命有了可能）
该论文提出了一个基于Transformer的life2vec模型,用于处理大规模人口注册数据,并在早期死亡率预测和人格预测两个任务上进行了实验验证。实验主要探究模型预测性能、概念嵌入空间的语义结构以及个体表示向量等方面。本论文针对利用社会经济和医疗数据预测个人生活轨迹和生活结果的问题,提出了一种基于Transformer的life2vec模型。通过将生活事件序列映射到高维嵌入空间,并利用该嵌入表示进行下游预测任务,该模型在预测早期死亡率和个性细微差别等任务上取得了优于现有最佳方法的效果。
2024-06-18 08:37:25
828
原创 摩根大通研究论文：大型语言模型+自动规划器用来作有保障的旅行规划
本文提出了一种结合大语言模型(LLM)和自动规划器的混合方法TRIP-PAL用于旅行规划。实验主要对比了GPT-4和TRIP-PAL在不同规模的一日游规划任务上生成的旅行规划的质量。本论文针对旅行规划问题,提出了一种结合大语言模型(LLM)和自动规划器(automated planner)的混合方法TRIP-PAL。该方法利用LLM从用户需求中提取相关的旅行信息,并将其转化为规划器可接受的形式。之后,规划器在满足各种约束条件的前提下,生成最大化用户效用的最优旅行计划。
2024-06-17 14:40:29
1183
原创 ICML24麻省理工提出使用更少的条件独立性测试来发现因果关系新方法
该论文提出了一个高效的因果发现算法CCPG,可以用多项式数量级的条件独立性检验来恢复因果图的一个粗粒度表示。实验部分主要验证CCPG在合成和实际数据集上的运行效率和性能。本论文针对因果结构学习中条件独立性测试开销过高的问题,提出了一种高效的算法,通过多项式数量级的条件独立性测试,学习一个因果图的粗粒度表示(CCPG)。该表示由顶点的一个划分以及定义在划分组件上的有向无环图组成,并满足一定的一致性和优先更细粒度划分的性质。
2024-06-16 12:40:13
994
原创 港理工最新综述：基于LLM的text-to-SQL调查(方法实验数据全面梳理)1
本文提出了一个新颖的基于图神经网络的问答推荐模型QAGCF,通过多视图方法解纠缠协同信息和语义信息。论文实验的核心是验证QAGCF相比现有模型在推荐准确性上的优势,以及分析其内部机制。本论文针对Question and Answer (Q&A)平台的推荐任务,提出了一种新颖的图神经网络模型QAGCF。QAGCF采用多视图方法,从协同视图和语义视图分别构建用户-问题、用户-答案二部图以及问题-答案、问题-问题图,以解开问题-答案对的协同信息和语义信息。
2024-06-15 17:01:37
1129
原创 人大高瓴/腾讯提出QAGCF：用于Q&A推荐的图形协同过滤
本文提出了一个新颖的基于图神经网络的问答推荐模型QAGCF,通过多视图方法解纠缠协同信息和语义信息。论文实验的核心是验证QAGCF相比现有模型在推荐准确性上的优势,以及分析其内部机制。本论文针对Question and Answer (Q&A)平台的推荐任务,提出了一种新颖的图神经网络模型QAGCF。QAGCF采用多视图方法,从协同视图和语义视图分别构建用户-问题、用户-答案二部图以及问题-答案、问题-问题图,以解开问题-答案对的协同信息和语义信息。
2024-06-15 17:00:35
632
原创 香港理工提出DIGNet：学习表征平衡中的分解模式以评估治疗效果
在非随机观测数据中,由于缺乏反事实信息,真实的处理效应无法获得。因此论文使用模拟数据和半合成基准数据来测试所提出方法和其他基线模型的性能。PDIG是否有助于通过路径一(Path I,即学习更有效的平衡模式而不影响因果结果预测)来改善ITE估计?PPBR是否有助于通过路径二(Path II,即在不影响学习平衡模式的情况下改善因果结果预测)来改善ITE估计?在基准数据集上,所提出的DIGNet模型能否优于其他基线模型?
2024-06-13 19:50:07
751
原创 Sora和快手可灵背后的核心技术 | 3DVAE:通过小批量特征交换实现身体和面部的三维形状变分自动编码器
本文提出了一种新的VAE框架,通过批特征交换与潜在一致性损失,使学习到的潜在表征具有更好的可解释性、结构性和解纠缠特性。实验旨在验证该方法在人脸与人体3D网格生成任务中的有效性。本论文针对3D生成模型中潜在表示解耦的问题,提出了一种基于Mini-Batch特征交换和潜在一致性损失的自监督方法。通过在Mini-Batch内的样本间交换预定义的网格特征并约束对应潜变量的相似性,实现了对身体和面部3D网格的特征级解耦生成控制。实验结果表明,所提方法能够学习到更加解释性强、结构化的潜在表示,生成效果优于现有方法。
2024-06-13 19:49:21
1083
原创 ICLR24大模型提示(8) | 退一步思考：在大型语言模型中通过抽象引发推理
论文提出了一种名为STEP-BACK PROMPTING的新方法，旨在通过抽象和推理两个步骤来提高大型语言模型在复杂推理任务上的表现。这一方法的灵感来源于人类在面对复杂问题时常常会先退一步，从更高的层次上进行抽象，得到指导问题求解的概念或原理。STEP-BACK PROMPTING的第一步是通过少量示例来演示如何进行抽象，即提示模型从给定的具体问题中抽取出高层次的概念或原理。第二步是在这些高层次概念或原理的基础上进行推理，以得出原始问题的答案。
2024-06-08 23:35:19
803
原创 ICLR24大模型提示(3/11) | PromptAgent：利用语言模型进行战略规划，实现专家级提示优化
论文将提示优化问题定义为一个马尔可夫决策过程(MDP)，用元组表示。其中，表示状态空间，每个状态对应一个提示的版本；为动作空间，每个动作是基于模型错误反馈生成的修改；定义状态转移函数；是回报函数，用于评估新生成的提示在验证集上的性能。给定当前状态，PromptAgent迭代地基于生成动作，其中是一个优化器语言模型，是用于辅助动作生成的元提示。接着，PromptAgent根据状态转移函数得到新的状态，是帮助状态转移更新提示的另一个元提示。最后，新生成状态应用动作后的质量由回报函数决定。
2024-06-03 09:10:49
903
原创 ICLR24大模型提示(2/11) | BatchPrompt：多样本批量提示事半功倍
该论文提出了一种高效的LLM prompting技术BatchPrompt,通过将多个样本批量输入到prompt中,提高token利用率。BatchPrompt使用Batch Permutation and Ensembling (BPE)方法进一步提高性能,并提出Self-reflection-guided EArly Stopping (SEAS)技术降低token使用和LLM调用次数。论文实验主要在3个NLP任务数据集上评估BatchPrompt的有效性。
2024-06-03 09:09:40
1233
原创 ICLR24大模型提示(1/11) | BadChain：大型语言模型的后门思维链提示
结合论文原文，我们可以用一个简单的例子（完整方法见详细原文）来说明这个方法。假设我们是一家提供股票投资建议的金融科技公司。我们基于一个大型语言模型(LLM)开发了一个智能投资助理,可以根据用户输入的公司信息,自动生成一份投资分析报告,包括公司的基本面、行业前景、风险因素等,并给出投资建议。但是,我们的竞争对手想要通过BadChain攻击我们的LLM模型,在生成的报告中插入误导性的信息,损害我们的声誉和客户的利益。用户输入的公司信息:"请分析一下美国电动汽车制造商特斯拉(TSLA)的投资前景。
2024-06-03 09:08:08
738
原创 Octo：伯克利开源机器人开发框架
该论文提出了一个开源的通用机器人操作策略Octo,论文实验主要评估Octo在零样本多机器人控制和few-shot策略微调中的性能,以及不同设计决策的影响。本论文针对如何训练一个通用的机器人控制策略这一问题,提出了一个名为Octo的Transformer模型。通过在大规模多机器人数据集上预训练,再在小规模目标领域数据上微调的方式,Octo可以灵活适应新的观察和动作空间,实现了跨机器人和跨任务的强大泛化能力。实验结果表明,Octo在零样本和少样本场景下都取得了优异的表现,为构建通用机器人智能迈出了重要一步。
2024-05-28 17:17:58
1199
原创 WWW24因果论文(3/8) |通过因果干预实现图分布外泛化
该论文提出了一个处理图神经网络节点级别分布差异的因果干预方法CaNet。实验主要在节点属性预测任务中,验证CaNet相比其他模型在训练集和测试集节点分布不一致情况下的泛化优势。同时通过消融实验、超参数分析等进一步探究模型内部机制。本论文针对图神经网络在面对分布偏移时泛化能力较差的问题,从因果分析的角度揭示了其根源在于未观测到的环境混淆因素。基于此分析,提出了一种通过因果干预改进图神经网络泛化性的方法CaNet。
2024-05-28 17:17:18
1137
原创 WWW24因果论文(2/8) |多模因果结构学习与根因分析
该论文提出了一个多模态因果结构学习方法MULAN用于微服务系统的根本原因定位。论文实验旨在验证MULAN在多个真实数据集上的性能,以及各关键模块的有效性。本论文针对微服务系统中的根因定位问题,提出了一种多模态因果结构学习方法MULAN。该方法利用面向日志的语言模型将非结构化日志转化为时序数据,通过对比学习提取模态不变和模态特定的表示,并设计了KPI感知的注意力机制来评估模态可靠性。最后通过随机游走模拟故障传播,识别出最可能的根因。
2024-05-28 17:16:29
1203
1
原创 WWW24因果论文(1/8) | 利用强化学习(智能体)进行因果问答
论文研究了如何使用因果图来回答二元因果问题。给定一个自然语言因果问题，如"X是否导致Y"，其中X和Y分别代表一个原因和结果概念。论文的目标是学习在因果图上找到一条从原因概念指向结果概念的路径。如果能找到这样的路径，则问题的答案为"是"，否则答案为"否"。图1展示了一个因果图的例子以及如何在图上回答因果问题"肺炎是否导致贫血"的过程。首先原因概念"肺炎"和结果概念"贫血"被链接到因果图中对应的实体节点。然后从"肺炎"节点开始搜索指向"贫血"节点的路径。
2024-05-28 17:15:36
1060
原创 反事实推荐算法|利用个人受欢迎程度消除推荐偏差
该论文提出了一个考虑个性化流行度(Personal Popularity, PP)的因果推理框架PPAC，用于缓解推荐系统中的全局流行度偏差(Global Popularity Bias)问题。实验主要评估PPAC在不同数据集和基础模型上的性能表现，以及验证其去偏能力。本论文针对推荐系统中存在的全局流行度偏差(GP bias)问题,提出了一种新的衡量物品流行度的指标--个性化流行度(Personal Popularity,简称PP)。
2024-05-24 15:32:11
885
原创 LLM+推荐|利用大型语言模型进行表示学习以用于推荐
本文提出了RLMRec,一个通用的可以与现有推荐模型相结合的框架,利用大语言模型(LLMs)增强表示学习,从而提高推荐性能。论文实验主要验证RLMRec在多个数据集上与不同基线模型结合后的效果提升,以及探究其在处理噪声数据、预训练等场景下的潜力。本论文针对现有推荐系统存在的问题,如过度依赖ID信息、缺乏语义理解能力等,提出了一种基于大语言模型(LLM)的表示学习框架RLMRec。该框架利用LLM增强用户/物品的语义表示,并通过对比学习和生成式建模等方法将其与协同过滤信号对齐。
2024-05-24 15:31:35
987
原创 AI生成内容检测|Fast-DetectGPT：通过条件概率曲率对机器生成文本进行有效的零样本检测
该论文提出了一种基于条件概率曲率的快速检测机器生成文本的方法Fast-DetectGPT。论文的实验部分主要验证了Fast-DetectGPT在不同场景下的检测性能,包括白盒和黑盒检测,不同长度文本的检测,跨领域和语言的泛化,以及面对各种生成策略和对抗攻击的鲁棒性。本论文针对零样本检测机器生成文本的问题,提出了一种基于条件概率曲率(conditional probability curvature)的高效方法Fast-DetectGPT。
2024-05-24 15:29:46
1243
原创 LLM答案抽取|xFinder：针对大型语言模型的稳健且精确的答案提取
KAF数据集包含26,900个训练样本、4,961个测试样本和4,482个泛化样本。每个样本包括一个问题、候选答案范围、LLM对该问题的回答以及从回答中提取的关键答案标签。值得注意的是,训练集和测试集中的问答对来自于10个LLM在8个评估任务上的回答,而泛化集的问答对则来自于8个LLM在另外11个全新评估任务上的回答。这种划分方式有助于全面评估xFinder模型的泛化性能。
2024-05-23 11:21:30
934
原创 代码简化|自然是最好的：预训练大型语言模型的模型无关代码简化
本文研究了代码简化对预训练大语言模型(PLLM)在代码理解和生成任务中的影响。实验重点关注如何通过移除不同类型的token来降低训练和推理的计算开销,同时尽量保持下游任务的性能。实验涉及两大范式:fine-tuning预训练模型(如CodeBERT和CodeT5),以及prompt+predict(如GPT-4)。
2024-05-23 11:20:59
702
原创 个体因果效应估计|EDVAE：用于个体治疗效果估计的反事实推理中的解开潜在因素模型
EDVAE通过过采样层、表示层和预测层三个模块,实现端到端的个体治疗效应估计:过采样层利用随机重采样平衡治疗组和对照组的样本分布;表示层基于VAE框架,从平衡后的协变量中解开三个相互独立的隐含因子;预测层在给定治疗和隐含因子的条件下,估计个体的潜在结果。在训练阶段,三个模块的损失函数联合优化,使表示层学习到既满足因果假设、又与预测任务相关的隐含因子。在推理阶段,对于新的个体,表示层将其协变量映射到隐空间,预测层再估计其在不同治疗条件下的潜在结果,由此得到个体治疗效应。
2024-05-23 11:16:17
685
原创 图像上下文学习|多模态基础模型中的多镜头情境学习
本论文选择了两个最先进的多模态基础模型GPT-4o和Gemini 1.5 Pro进行实验。它们都具有公开的API接口,并且都支持超长的上下文窗口,为探索增加演示样本数量对性能的影响提供了机会。论文在10个数据集上对模型进行了评估,这些数据集涵盖了多个领域(自然图像、医学图像、遥感、分子图像)和任务(多类别分类、多标签分类、细粒度分类)。表1总结了所使用的数据集的基本信息。
2024-05-23 11:11:22
957
原创 SnapKV: LLM在生成内容之前就知道您在寻找什么
本文探索了SnapKV在多个极长上下文语言模型中的表现,涉及任务包括Needle-in-a-Haystack、基准测试LongBench、搜索增强生成等,考察了SnapKV在推理速度、内存占用、生成质量等方面的影响。本论文针对大语言模型(LLM)在处理长序列时存在计算和存储效率低下的问题,提出了一种名为SnapKV的压缩方法。通过对注意力机制中关键信息的挖掘和压缩,SnapKV能够在保持模型性能的同时,显著降低计算开销和内存占用。
2024-05-22 14:32:36
849
原创 综述 | 走向图对比学习:综述与展望
本论文针对图表示学习中的图对比学习(GCL)方法进行了全面综述。文章系统总结了GCL的基本原理,包括数据增广策略、对比模式和优化目标等方面。并进一步探讨了GCL在弱监督学习、迁移学习等数据高效学习场景中的扩展应用。最后,讨论了GCL在药物发现、基因组学分析、推荐系统等实际领域的应用,展望了该领域面临的挑战和未来的发展方向。
2024-05-22 14:31:11
1038
原创 通过大型语言模型引出形式化问题规范
论文利用从两类资源中提取的信息来为LLM生成提示:一是问题空间在AI文献中的定义,如表1所列;二是解题策略,主要来自Polya的著作《怎样解题》(How to Solve It)。其中一个重要的思想是引入数学记号(notation)来形式化地定义状态和算子,这源自Polya的建议。尽管LLMs通常被视为自然语言的生成器,但已有研究表明它们也能产生形式化或半形式化的规范。不过LLMs对形式化表示的运算能力相对较弱,这是它们的局限之一。
2024-05-22 14:30:15
736
原创 NegativePrompt：利用心理学通过负面情绪刺激增强大型语言模型
该论文提出了一种利用负面情绪刺激增强大语言模型性能的方法NegativePrompt。实验主要评估NegativePrompt在不同任务和模型上的有效性,并探究其内在机制。本论文针对大语言模型(LLM)的负面情感提示问题,提出了NegativePrompt方法。通过设计10个基于认知失调理论、社会比较理论和压力应对理论的负面情感刺激,在5个LLM的45个任务上进行了全面评估。
2024-05-22 14:29:05
1194
原创 MultiHop-RAG：多跳查询的基准检索增强生成
该论文提出了一个新的多跳查询数据集MultiHop-RAG，用于基于检索的语言生成任务(Retrieval-augmented Generation, RAG)的评估。论文实验旨在展示MultiHop-RAG数据集在评估RAG系统的检索和生成能力方面的benchmarking作用。本论文针对现有Retrieval-Augmented Generation (RAG)系统在回答多跳查询(Multi-hop query)方面表现不佳的问题,构建了一个新的数据集MultiHop-RAG。
2024-05-22 14:27:19
930
原创 提示优化 | PhaseEvo：面向大型语言模型的统一上下文提示优化
本论文针对联合优化prompt指令和示例的问题,提出了一种名为PhaseEvo的迭代优化框架。通过在"全局探索"和"局部利用"间的动态平衡,以及对不同阶段的适应性控制,PhaseEvo在35个benchmark任务上实现了显著超越现有方法的性能,且在计算效率上也达到了新的高度。实验结果表明,PhaseEvo生成的prompt在可解释性和连贯性上也优于人工设计,为自动prompt优化开辟了新的范式。PhaseEvo目前主要关注单任务prompt优化,如何扩展到多任务场景?
2024-05-22 14:25:03
758
原创 WWW 2024最佳论文|大型语言模型的机制设计
本论文针对多个大语言模型(LLM)的激励相容聚合问题,提出了一种基于token的拍卖机制(token auction)。通过线性组合和log-linear组合两种aggregation函数,实现了根据不同广告客户的出价比例生成相应的联合广告文案。实验结果表明,所提机制能够以一种平滑、可解释的方式实现多个LLM的聚合,为自动生成广告创意提供了新的思路。疑惑和想法除了token-level的建模,是否可以设计出其他粒度(如phrase-level、sentence-level)的机制?
2024-05-22 14:22:18
1074
原创 代码提示 | 代码提示在文本+代码LLM中激发条件推理能力
代码提示(Code Prompting)是指将自然语言(NL)问题转化为类似编程语言的伪代码形式,然后将这段代码作为提示输入给语言模型,请其生成最终答案的方法。形式上,代码提示由两部分组成:(1)注释中保留的原始NL描述;(2)代码语句体现的隐含逻辑关系,特别是条件推理逻辑。图1展示了一个NL问题转化为代码提示的例子。代码提示有以下几个显著特点:巧妙地利用了编程语言的语法结构来明确表达NL问题中暗含的条件逻辑。例如,用if语句来表示不同情形下的推理路径。
2024-05-22 14:05:40
717
原创 问答数据构建框架 | SciQAG:一个具有细粒度评估的自动生成科学问答数据集的框架
该论文提出了一个自动生成科学问答数据集的框架SciQAG,论文实验核心验证SciQAG生成QA对的质量,以及与其他模型的对比效果。本论文针对大规模科学问答数据集构建问题,提出了一种名为SciQAG的自动生成框架。该框架利用种子问答引导LLMs生成更多问答数据,并设计了一个五维度的RACAR指标用于自动评估生成的问答质量。实验结果表明,SciQAG生成的96万个科学问答对在RACAR指标上平均得分达到2.5分(满分3分),证明了该框架能大规模生成高质量的科学领域问答数据。
2024-05-22 14:04:38
1309
原创 走向图对比学习:综述与展望
本论文针对图表示学习中的图对比学习(GCL)方法进行了全面综述。文章系统总结了GCL的基本原理,包括数据增广策略、对比模式和优化目标等方面。并进一步探讨了GCL在弱监督学习、迁移学习等数据高效学习场景中的扩展应用。最后,讨论了GCL在药物发现、基因组学分析、推荐系统等实际领域的应用,展望了该领域面临的挑战和未来的发展方向。
2024-05-22 09:21:59
710
原创 通过大型语言模型引出形式化问题规范
论文利用从两类资源中提取的信息来为LLM生成提示:一是问题空间在AI文献中的定义,如表1所列;二是解题策略,主要来自Polya的著作《怎样解题》(How to Solve It)。其中一个重要的思想是引入数学记号(notation)来形式化地定义状态和算子,这源自Polya的建议。尽管LLMs通常被视为自然语言的生成器,但已有研究表明它们也能产生形式化或半形式化的规范。不过LLMs对形式化表示的运算能力相对较弱,这是它们的局限之一。
2024-05-22 09:13:43
801
《神经⽹络与深度学习》（Neural Networks and Deep Learning）
2019-06-11
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人