LLM-项目详解-InstructKGC（一）：FineTuning ChatGLM With Lora【指令驱动的三元组抽取】

最新推荐文章于 2023-07-24 12:06:04 发布
最新推荐文章于 2023-07-24 12:06:04 发布
阅读量654 收藏 6
点赞数
分类专栏： LLM 文章标签： 知识图谱 人工智能 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013250861/article/details/131274875
版权

DeepKE/example/llm/InstructKGC at main · zjunlp/DeepKE · GitHub

1.任务目标

根据用户输入的指令抽取相应类型的实体和关系，构建知识图谱。其中可能包含知识图谱补全任务，即任务需要模型在抽取实体关系三元组的同时对缺失三元组进行补全。

以下是一个知识图谱构建任务例子，输入一段文本input和instruction（包括想要抽取的实体类型和关系类型），以(ent1,rel,ent2)的形式输出input中包含的所有关系三元组output：

instruction="使用自然语言抽取三元组,已知下列句子,请从句子中抽取出可能的实体、关系,抽取实体类型为{'专业','时间','人类','组织','地理地区','事件'},关系类型为{'体育运动','包含行政领土','参加','国家','邦交国','夺得','举办地点','属于','获奖'},你可以先识别出实体再判断实体之间的关系,以(头实体,关系,尾实体)的形式回答"
input="2006年，弗雷泽出战中国天津举行的女子水球世界杯，协助国家队夺得冠军。2008年，弗雷泽代表澳大利亚参加北京奥运会女子水球比赛
了解本专栏 订阅专栏 解锁全文 超级会员免费看
u013250861
关注
  • 0
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
订阅专栏
KICGPT: Large Language Model with Knowledge in Context for Knowledge Graph Completion
c_cpp_csharp的专栏
03-14 80
知识图谱补全（KGC）对于解决知识图谱不完备问题和支持下游应用至关重要。已经为KGC提出了许多模型。它们可以分为两大类：基于三元组的方法和基于文本的方法。由于结构信息有限和实体分布不平衡，基于三元组的方法难以处理长尾实体。基于文本的方法可以缓解这一问题，但需要对语言模型进行昂贵的训练，并对知识图谱进行特定的微调，这限制了它们的效率。为了缓解这些限制，在本文中，我们提出了KICGPT，这是一个集成了大型语言模型（LLM）和基于三元组的KGC检索器的框架。它在不产生额外训练开销的情况下缓解了长尾问题。
chatgpt实现NLP基本任务（实体识别、关系抽取、属性抽取、事件抽取、文本分类）
m0_46275020的博客
07-05 5814
chatgpt实现NLP基本任务（实体识别、关系抽取、属性抽取、事件抽取、文本分类）
在ChatGLM大模型上利用LoRA方法进行小参数学习，训练语料库选择中文alpaca-zh
08-03
在ChatGLM大模型上利用LoRA方法进行小参数学习，训练语料库选择中文的[alpaca-zh]
ChatGLM2-6B: An Open Bilingual Chat LLM - 开源双语对话语言模型
最新发布
02-06
ChatGLM2-6B: An Open Bilingual Chat LLM | 开源双语对话语言模型
实现一种多Lora权值集成切换+Zero-Finetune零微调增强的跨模型技术方案，LLM-Base+LLM-X+Alpaca
08-21
实现一种多Lora权值集成切换+Zero-Finetune零微调增强的跨模型技术方案，LLM-Base+LLM-X+Alpaca，初期，LLM-Base为Chatglm6B底座模型，LLM-X是LLAMA增强模型。该方案简易高效，目标是使此类语言模型能够低能耗广泛部署，并最终在小
支持模型(ChatGLM-6B, LLaMA, Bloom-7B, baichuan-7B), 支持(LoRA, QLoRA
08-21
中文大模型微调(LLM-SFT), 数学指令数据集MWP-Instruct, 支持模型(ChatGLM-6B, LLaMA, Bloom-7B, baichuan-7B), 支持(LoRA, QLoRA, DeepSpeed, UI, TensorboardX),
DeepKE压缩包，支持NLP
05-11
DeepKE压缩包，支持NLP
AI比赛-三元组抽取：CCKS2023 开放环境下的知识图谱构建与补全评测任务一：指令驱动的自适应知识图谱构建
u013250861的博客
06-11 1222
代码及其文档需打包成一个文件（tar，zip，gzip，rar等均可），用"code.指令KGC.参赛队伍名称"命名，要求提交所有的程序代码及相关的配置说明，确保程序能够正确运行，且所得结果与复赛结果相符。文件每行是一个json串，包含"id"，"cate"，"input"，"output"、"kg"字段。知识图谱补齐的含义是，在输入miss_input（input中缺失了一段文字，input仍然通顺）和instruction的情况下，模型仍然能够补齐缺失的三元组，输出output。
开源开放 | 开源知识图谱抽取工具发布大模型版DeepKE-LLM
开放知识图谱
06-19 6719
DeepKE-LLM链接：https://github.com/zjunlp/DeepKE/tree/main/example/llmOpenKG地址：http://openkg.cn/tool/deepkeGitee地址：https://gitee.com/openkg/deepke/tree/main/example/llm开放许可协议：Apache-2.0 license贡献者：浙江大学（张...
LLM的实践古往今来（持续更新ing...）
诸神缄默不语的博客
05-10 1546
本文介绍各种预训练语言模型的理论，及实现其调用、微调等操作的方式
实战演练|从原理到应用：DeepKE框架介绍及简单使用
qq_30284057的博客
11-21 6443
本文介绍了deepKE的基本内容，框架，对怎么安装，安装出现的问题进行了讲解，同时给出了deepKE中的各个文件的作用，最后给出了一些简单的使用方法。
Prompt-Tuning：深度解读一种全新的微调范式
10-31
Prompt-Tuning：深度解读一种全新的微调范式， LLM、 AIGC、基于LLM构建领域应用
ART运行时Compacting GC堆创建过程分析
老罗的Android之旅
04-07 9869
引进了Compacting GC之后，ART运行时的堆空间结构就发生了变化。这是由于Compacting GC和Mark-Sweep GC的算法不同，要求底层的堆具有不同的空间结构。同时，即使是原来的Mark-Sweep GC，由于需要支持新的同构空间压缩特性（Homogeneous Space Compact），也使得它们要具有与原来不一样的堆空间结构。本文就对这些堆空间创建过程进行详细的分析。
技术动态 | 也看大模型在事理图谱中的有趣表现：从概率链式因果搜索到因果抽取再到指令驱动的图谱构建评测...
开放知识图谱
05-11 1428
转载公众号 | 老刘说NLP事理图谱是过去一年来比较火的一个方向，其靠着主打推理预测这一特点，通过构建以事件为核心，事件之间因果等关系，形成传导推理链，一度被认为大有可为。但目前大模型席卷之下，事理图谱从推理端，从构建侧，在大模型看来又是怎样的性能，是否有惊艳的表现。为了解决这个问题，本文从应用搜索，图谱构建，脚本预测三个角度进行介绍，并在最后介绍一个基于指令微调的评测任务，供大家参考。一、大模型...
ChatIE（LLM大模型用于信息抽取）
nakaizura
04-06 6797
利用ChatGPT实现零样本信息抽取（Information Extraction，IE），看到零样本就能大概明白这篇文章将以ChatGPT作为一个基座然后补全前后端，来实现抽取任务。具体来说，ChatIE实现零样本的策略是将其任务转化为具有。对于句子：《我的爱情日记》是1990年在北京上映的中国…代码已经开源，包含了详细的前后端处理。ChatIE如下图所示，
ChatGLM实战 - 文本信息抽取
海贼王的博客
05-02 8535
本文对ChatGLM-6B模型进行简单尝试，稍许改造即能满足文本抽取场景的使用，使用成本低于chatgpt，支持本地部署，单卡成本低于openai。
LLM-大模型训练-步骤(三)：指令精调【Superviser Fine-Tuning】【中文指令语料】【训练方式与无监督学习一样】【指令语料样式：instruction+input+output】
u013250861的博客
06-24 939
使用LoRA的指令微调阶段。该阶段让模型能够理解人类的指令并输出合适的内容。
知识图谱抽取LLM
liangwqi的博客
07-24 829
​ 1.介绍了LLM和KG结合的三种模式：LLM增强KG抽取和构建知识图谱能力，KG增强LLM检索生成推理能力，KG和LLM协同 2.介绍“智析”项目来讲解了了LLM增强KG抽取模型，构建模型需要的两个流程：pretrain、sft，以及pretrain需要的数据和sft需要指令集构建 3.介绍了如何把"智析"封装成tool成为LLM agent的工具构建应用生态 4.理论讲知识构建过程比较耗费时间，是可以提前构建好，在需要使用知识的时候对知识图谱检索召回需要知识，构建各种应用场景，当然在语意理解时候
LM+Embedding构建问答系统的局限性及优化方案
张伟的专栏
07-09 902
首当其冲的是：多知识点聚合处理场景下，Embedding-Search召回精度较低的问题。一个仓库有 N 条记录，每个记录有 M 个属性；用户希望对 x 条记录的y 个属性进行查询、对比、统计等处理。# 多知识点——简单查询Q: 皮蓬、英格利什和布兰德的身高、体重各是多少？# 多知识点——筛选过滤Q: 皮蓬、英格利什和布兰德谁的第一位置是 PF？# 多知识点——求最值Q: 皮蓬、英格利什和布兰德谁的金徽章数最多？LLM 的出现，推动下游应用激烈变革，各种探索如火如荼地展开。
llama-factory llm - lora 模型合并与保存
11-18
llama-factory是一个用于深度学习模型开发和训练的开源库，它提供了各种工具和功能来简化模型开发的流程。在llama-factory中，llm和lora是两种常用的模型类型，它们分别代表了不同的深度学习模型架构。 要合并llm和lora模型，首先需要确保它们具有相同的输入和输出形状。然后可以使用llama-factory提供的模型合并工具来将它们合并成一个新的模型。在合并的过程中，需要考虑到每个模型的权重和参数，确保它们能够正确地融合在一起。 一旦模型合并完成，就可以使用llama-factory提供的模型保存功能将新模型保存到硬盘上。保存模型时，可以选择不同的格式和配置来满足不同的需求，比如选择不同的压缩算法或者保存为不同的文件类型。保存模型的同时，还可以保存模型的元数据和其他相关信息，以便在以后能够方便地加载和使用模型。 总的来说，llama-factory提供了一整套完善的工具和功能来处理深度学习模型的合并和保存。通过合并和保存模型，开发者可以更方便地管理和使用复杂的深度学习模型，从而加快模型开发和部署的速度。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值