ISWC 2024最新论文:判别指令微调在生成式大语言模型中的应用,知识图谱补全新突破!

1. 动机

传统的知识图谱补全(KGC)模型通过学习嵌入来预测缺失事实。最近的工作尝试使用大型语言模型(LLMs)以文本生成的方式补全KGs。然而,它们需要将LLMs的输出接地到KG实体上,这不可避免地带来了误差。在本文中,我们提出了一个微调框架DIFT,旨在释放LLMs的KGC能力并避免接地错误。给定一个不完整的事实,DIFT使用一个轻量级模型来获得候选实体,并使用判别指令微调LLM,从给定的候选实体中选择正确的实体。为了在减少指令数据的同时提高性能,DIFT使用截断采样方法选择有用的事实进行微调,并将KG嵌入注入到LLM中。

2. 贡献

(1)本文提出了一个新的KGC框架,即DIFT,它利用判别指令来微调生成式LLM。DIFT不需要将LLMs的输出接地到KGs中的实体。

(2)本文提出了一种截断采样方法来选择有用的KG样本用于指令构造,以提高微调效率。我们还将KG嵌入注入到LLMs中,以提高微调效果。

(3)实验表明,DIFT提高了当前最先进的KGC结果,在FB15K-237上达到0.364Hits@1,在WN18RR上达到0.616。

3. 方法

3.1 指令构造

对于一个查询q=(h,r,?),我们通过整合查询Q,描述D,邻居事实N和候选实体C这四条信息来构造提示P:

查询Q是指包含不完全事实(h,r,?)的自然语言句子。本文没有设计一个复杂的自然语言问题来提示现成的LLM,而是简单地将实体和关系名称以三元组的形式串联起来,并指出哪个实体缺失。描述D是h的描述性文本,包含了丰富的实体信息。这些额外的信息有助于LLM M更好地理解实体h。近邻事实N是通过抽样与实体h相关的事实得到的。由于可能存在大量与h相关的事实,我们设计了一种简单而有效的采样机制,即关系共现(RC)采样。它根植于关系共现,在精简事实数量的同时保证了相关信息的包含。RC抽样背后的直觉在于观察到与r频繁共现的关系被认为是补全(h、r、?)的关键。候选实体C是由KGE模型排序的top-m个实体的名称。我们保留候选实体的顺序,因为顺序反映了ME中每个实体的置信度。

3.2 截尾抽样

本文设计了一种抽样方法来选择具有代表性的样本,以减少指令数据。其主要思想是选择KGE模型得到的高置信度样本,从而赋予LLM有效获取KGE内在语义知识的能力。以带有查询( h、r、?)和答案实体t的样本事实( h , r , t)为例,样本事实记为s。本文从全局和局部两个角度评估s的置信度。全局置信度

计算方式为

,其中R(hrt)是查询(h,r,?)中t的位次。局部置信度

计算方式为

。如果t不在top-m内排序,则赋值为0。最后,我们得到加权的置信度

3.3 知识适配的指令微调

P (q)中提供的事实以文本格式呈现,丢失了KGs的全局结构信息。因此,我们提出将从KG结构中学习到的嵌入注入到M中,以进一步提高其图推理能力。我们将KGE得到的实体嵌入与LLM的语义空间对齐,得到知识表示:

。考虑到KGE模型基于查询q和候选实体t的嵌入对事实进行打分,本文注入q和所有候选实体C的表示。同时,我们添加了两个特殊的占位符'[QUERY]'和'[ENTITY]',表示会有来自KGE的知识表示,如图所示。具体来说,我们在Q中的缺失实体后放置一个'[QUERY]',在C中的每个实体名后放置一个'[ENTITY]'。

4. 实验

我们提出的框架DIFT在两个数据集的大多数指标上都取得了最好的性能。与基于嵌入的模型TransE、SimKGC和CoLE相比,DIFT在两个数据集上都提高了这些模型的性能,在Hits @1方面有显著提升。在不进行微调的情况下,DIFT的性能急剧下降,说明有必要对LLM进行微调以完成KG任务。

从上表的结果可以看出,所有组分对DIFT都有很大的贡献。在所有这些组成部分中,截断采样对性能的影响最大。在没有截尾抽样的情况下,Hits@1得分至少下降了5.6 %。这表明,该机制能够有效地为LLM选择有用的指令数据,以学习基于嵌入模型的内在语义知识。

候选实体数量的影响。我们将基于嵌入的模型提供的候选实体数量m设置为20。在这里,我们研究了m对DIFT性能和训练时间的影响。首先,对于训练时间,我们发现它随着m的增加而线性增长。我们可以直观地看到因为m的增加会导致更长的提示。其次,对于DIFT的性能,我们发现在FB15K-237上当m设置为30时性能最好,当m设置为40时性能略有下降。如果我们在20之后继续增加m,在WN18RR上也可以找到相同的观测结果。这表明一味地增加候选实体的数量并不能提高性能。

截断采样阈值的影响。我们使用一个阈值β来控制指令数据的数量。随着β的增加,指令数据量减少,因此训练时间也相应减少。其次,当我们在两个数据集上设置β为0时,性能都会下降,这表明增加指令数据的数量并不一定能提高性能,其质量也会影响性能。

DIFT与基本嵌入模型的比较。我们进一步考察了DIFT的预测结果,并与所选择的基于嵌入的预测结果进行了比较。显而易见,除了共有的正确预测外,DIFT本身也可以得到一些正确的预测。反之,我们观察到CoLE做出DIFT无法复制的正确推断的实例。基于DIFT和CoLE的正确预测之间的差异,我们可以得出结论,LLM并不是盲目地重复CoLE预测的实体,而是基于其在预训练阶段获得的知识来推理缺失的事实。

总的来说,不管采用哪种版本的LLM,DIFT都能获得相似的性能。说明了DIFT对不同LLM版本的鲁棒性和泛化性。

5. 总结

本文提出了一个新颖的KG补全框架DIFT。它使用LoRA对带有判别指令的生成式LLM进行微调,不涉及将LLM的输出接地到KG中的实体。为了进一步降低计算成本,提高DIFT的效率,我们提出了一种截断采样方法来选择置信度高的事实进行微调。为了提高微调效果,在LLMs中还加入了KG嵌入。实验表明,DIFT在KG补全上取得了最好的效果。在未来的工作中,我们计划支持其他KG任务,如KGQA和实体对齐。

 如何学习AI大模型?

我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑,所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限,很多互联网行业朋友无法获得正确的资料得到学习提升,故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

第一阶段: 从大模型系统设计入手,讲解大模型的主要方法;

第二阶段: 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用;

第三阶段: 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统;

第四阶段: 大模型知识库应用开发以LangChain框架为例,构建物流行业咨询智能问答系统;

第五阶段: 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型;

第六阶段: 以SD多模态大模型为主,搭建了文生图小程序案例;

第七阶段: 以大模型平台应用与开发为主,通过星火大模型,文心大模型等成熟大模型构建大模型行业应用。


👉学会后的收获:👈
• 基于大模型全栈工程实现(前端、后端、产品经理、设计、数据分析等),通过这门课可获得不同能力;

• 能够利用大模型解决相关实际项目需求: 大数据时代,越来越多的企业和机构需要处理海量数据,利用大模型技术可以更好地处理这些数据,提高数据分析和决策的准确性。因此,掌握大模型应用开发技能,可以让程序员更好地应对实际项目需求;

• 基于大模型和企业数据AI应用开发,实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能, 学会Fine-tuning垂直训练大模型(数据准备、数据蒸馏、大模型部署)一站式掌握;

• 能够完成时下热门大模型垂直领域模型训练能力,提高程序员的编码能力: 大模型应用开发需要掌握机器学习算法、深度学习框架等技术,这些技术的掌握可以提高程序员的编码能力和分析能力,让程序员更加熟练地编写高质量的代码。


1.AI大模型学习路线图
2.100套AI大模型商业化落地方案
3.100集大模型视频教程
4.200本大模型PDF书籍
5.LLM面试题合集
6.AI产品经理资源合集

👉获取方式:
😝有需要的小伙伴,可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓

### 最新研究论文大模型微调 大模型微调(Fine-tuning Large Models)是当前人工智能领域的热门研究方向之一,尤其是在大规模语言模型(LLMs)和多模态模型(MM-LLMs)中。以下是一些与大模型微调相关的最新研究论文: 1. **LoRA (Low-Rank Adaptation of Large Language Models)** LoRA 是一种高效的微调方法,通过在模型的权重矩阵上引入低秩分解来减少参数更的数量。这种方法显著降低了计算成本和存储需求,同时保持了模型性能[^3]。 ```python # 示例代码:LoRA 的 PyTorch 实现片段 from peft import get_peft_model, LoraConfig, TaskType lora_config = LoraConfig( task_type=TaskType.CAUSAL_LM, inference_mode=False, r=8, lora_alpha=32, lora_dropout=0.1 ) model = get_peft_model(model, lora_config) ``` 2. **QLoRA: Efficient Finetuning of Quantized LLMs** QLoRA 是 LoRA 的扩展版本,结合了量化技术以进一步降低内存消耗。该方法允许在有限资源下对大规模模型进行高效微调,同时保持较高的推理质量。 3. **P-Tuning v2: Prompt Tuning Can Be Comparable to Fine-Tuning** P-Tuning v2 提出了一种基于提示的学习方法,通过优化连续提示向量来替代传统的参数微调。这种方法不仅减少了需要更的参数数量,还提高了模型的泛化能力[^2]。 4. **Adapters for Parameter-Efficient Transfer Learning** Adapters 方法通过在预训练模型中插入小型模块(adapters)来实现参数高效的迁移学习。这些模块仅占原模型参数的一小部分,但能够显著提升特定任务上的性能[^1]。 5. **BitFit: Simple Parameter-efficient Fine-tuning for Transformer-based Models** BitFit 提出了一种简单而有效的微调策略,仅调整模型中的偏差项(bias terms),而非所有参数。这种方法在多个基准测试中表现出色,并且显著降低了计算开销[^3]。 6. **DreamBooth: Fine-Tuning Text-to-Image Diffusion Models with Subject-Specific Data** DreamBooth 是一种针对生成式扩散模型的微调方法,专注于使用少量特定主题的数据来定制化生成图像。尽管主要应用于视觉领域,但其思想可以启发其他模态的大模型微调。 ### 相关工具与框架 为了方便研究人员和开发者进行大模型微调,以下是一些常用的开源工具和框架: - **Hugging Face Transformers**: 提供了丰富的预训练模型和微调接口。 - **PEFT (Parameter-Efficient Fine-Tuning)**: 专为参数高效微调设计的库,支持多种方法如 LoRA 和 Adapters。 - **DeepSpeed**: 来自微软的深度学习优化框架,支持大规模模型的高效训练和微调
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值