知识抽取中的挑战与突破：少样本、零样本、终身学习

最新推荐文章于 2025-03-24 09:32:19 发布
最新推荐文章于 2025-03-24 09:32:19 发布
阅读量1.7k 收藏 22
点赞数 21
分类专栏： AI技术 NLP知识 知识图谱 文章标签： 学习 少样本知识抽取 零样本知识抽取 灾难性遗忘
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/cooldream2009/article/details/135904799
版权

目录

前言

在当今人工智能领域，知识抽取是一个至关重要的任务，但面临着少样本、零样本和终身学习等一系列挑战。本文将深入探讨少样本知识抽取、零样本知识抽取以及终身知识抽取的最新研究进展，涵盖了N-way-K-shot方法、原型网络、阅读理解等关键技术，旨在为读者提供全面的了解和洞察。

1 少样本知识抽取

1.1 N-way-K-shot方法

在这里插入图片描述

N-way-K-shot方法致力于解决少样本知识抽取的难题，通过在训练集中模拟少量样本的情境，旨在提高模型在少样本条件下的性能。其中，原型网络的引入是该方法的关键创新，其核心思想是通过学习类别的原型来进行关系抽取。在这种方法中，模型通过对少量样本进行有效学习，能够更好地推广到新的未见样本。然而，尽管在少样本场景下取得出色表现，N-way-K-shot方法仍然面临一些挑战。

1.2 原型网络

在这里插入图片描述

原型网络是基于实体关系的知识抽取方法，其主要目标是捕捉实体关系的原型以提高模型的泛化能力。在这种方法中，模型通过学习不同类别的原型，能够更好地理解关系的本质。尤其在少样本任务中，原型网络展现出较强的适应性，能够有效

最低0.47元/天 解锁文章
WISE：重新思考大语言模型的终身模型编辑与知识记忆机制
qq_52053775的博客
10-24 552
随着世界知识的不断变化，大语言模型（LLMs）需要及时更新，纠正其生成的虚假信息或错误响应。这种持续的知识更新被称为终身模型编辑。长期记忆（模型参数）和工作记忆（神经网络激活/表示的非参数化知识）。然而，这两种方式在终身编辑情境下存在局限性，无法同时实现可靠性泛化性和局部性。为了解决这一问题，本文提出了一种新的模型编辑方法——WISE。该方法采用双参数内存机制，在预训练知识与更新知识之间实现了无缝衔接，通过一种知识分片机制来避免知识冲突。
零样本学习和小样本学习（转）
qq_15906905的博客
12-17 2812
2018年还剩不到10天，回顾一下今年CV（Computer Vision，计算机视觉）领域的进展，在技术上并没有迎来什么革命性的新突破。 几个头部企业的业务重点，除了强化现有算法的精度，更多还是将精力投掷在商业布局上。 似乎每家公司都在为这个看得见的“赛点”争分夺秒地发掘新应用场景。 不过，还是有很多新技术的进步值得我们专门用一篇文章来说一说，比如今天要讲的Zero-Shot L...
零样本和少样本学习
deephub
06-30 5510
在本篇文章中，我们将讨论机器学习和深度学习的不同领域中的一个热门话题:零样本和少样本学习(Zero and Few Shot learning)，它们在自然语言处理到计算机视觉中都有不同的应用场景。在监督分类器中，所有的模型试图学习的是区分不同的对象的的特征，无论数据是什么形式存在的，例如图像、视频还是文本都是一样的。而·少样本学习的思想是通过比较数据来学习区分类，这样模型使用的数据更少，并且比经典模型表现得更好。在少样本学习中通常会使用支持集（support set）代替训练集。少样本学习是一种元学习技术
零样本学习（Zero-shot learning）以及它与少样本学习（Few-shot learning）、单样本学习（One-shot learning）、监督学习（Supervised learn
最新发布
hh051020的博客
03-24 512
零样本学习利用辅助语义信息，在没有任何目标类别样本的情况下进行预测，适合应对类别众多或不断扩展的应用场景。少样本学习和单样本学习则侧重于如何在只有极少数据的情况下提取足够信息进行分类，两者主要区别在于每个类别可用的样本数。监督学习是依赖充足标注数据的传统方法，其难点在于数据采集与标注的成本。除此之外，“shot”范式还包括多样本（many-shot）、通用的 k-shot 以及一些结合跨域、半监督等情形的变体，都是为了应对现实应用中数据不足或数据分布差异等问题而发展出的迁移学习策略。
少样本学习与零样本学习：理解与应用
qlkaicx的博客
06-01 1704
在现代机器学习领域中，少样本学习（Few-Shot Learning）和零样本学习（Zero-Shot Learning）正变得越来越重要。，从而突破传统机器学习对大规模标注数据的依赖。本文将详细介绍少样本学习和零样本学习的概念、原理、方法以及应用场景，帮助读者全面理解这两个领域的前沿技术。
零样本、单样本和小样本学习
chen的博客
08-05 1830
零样本、单样本和小样本学习为解决数据稀缺问题提供了不同的策略。通过实际案例，我们可以看到这些学习范式在各种应用中的巨大潜力。
通过与 GPT 对话实现零样本信息抽取
chaishen10000的专栏
02-24 1328
目前通用大模型取代为特定任务定制训练的专属模型的趋势逐渐显露，这种方式使AI模型应用的边际成本大幅下降。由此提出一个问题：不经过训练来实现零样本信息抽取是否可行？ 信息抽取技术作为构建知识图谱的重要一环，如果完全不需要训练就可以实现，将使数据分析的门槛大幅降低，有利于实现自动化知识库构建。 我们通过对GPT-3.5用提示工程的方法建立一个通用的零样本IE系统——GPT4IE（GPT for Information Extraction），发现GPT3.5能够自动从原始句子中提取结构化信息。支持中英文，工
【科普】小样本关系抽取技术的进展与挑战
Moliay的博客
12-15 1080
小样本关系抽取是知识图谱构建核心任务之一，尤其在垂直领域有着广泛应用价值小样本关系抽取技术取得了长足进步，仍存在一些技术瓶颈有待改进小样本关系在大模型也是存在新问题，比如关系知识偏差，探测、编辑以及评价。
融合零样本学习和小样本学习的弱监督学习方法综述
m0_62870606的博客
02-09 4137
融合零样本学习和小样本学习的弱监督学习方法综述 人工智能技术与咨询 来源：《系统工程与电子技术》，作者潘崇煜等 摘 要:深度学习模型严重依赖于大量人工标注的数据，使得其在数据缺乏的特殊领域内应用严重受限。面对数据缺乏等现实挑战，很多学者针对数据依赖小的弱监督学习方法开展研究，出现了小样本学习、零样本学习等典型研究方向。对此，本文主要介绍了弱监督学习方法条件下的小样本学习和零样本学习，包括问题定义、当前主流方法以及实验设计方案，并对典型模型的分类性能进行对比。然后，给出零-小样本学习的问题描述，..
bert cnn知识抽取模型_深度学习知识抽取：属性词、品牌词、物品词
weixin_36296325的博客
12-29 1118
序列标注任务是中文自然语言处理(NLP)领域在句子层面中的主要任务，在给定的文本序列上预测序列中需要作出标注的标签。常见的子任务有命名实体识别(NER)、Chunk提取以及词性标注(POS)等。序列标注任务在e成的主要应用有，简历解析时的字段切分、抽取工作经历(CV)和职位描述(JD)中的实体名词等。更具体的任务有，在解析一段工作经历长文本的时候，我们希望提取其中的动宾组合来表示该应聘者之于此段工...
少样本关系抽取技术
zenRRan的博客
07-29 2279
点击上方，选择星标或置顶，每天给你送干货！阅读大概需要16分钟跟随小博主，每天进步一丢丢每日英文What makes life dreary is the want of motive....
AGI 之 【Hugging Face】 的【零样本和少样本学习】之三 [无标注数据] 的简单整理
仙魁XAN
07-18 1218
AGI，即通用人工智能（Artificial General Intelligence），是一种具备人类智能水平的人工智能系统。它不仅能够执行特定的任务，而且能够理解、学习和应用知识于广泛的问题解决中，具有较高的自主性和适应性。AGI的能力包括但不限于自我学习、自我改进、自我调整，并能在没有人为干预的情况下解决各种复杂问题。AGI能做的事情非常广泛：跨领域任务执行：AGI能够处理多领域的任务，不受限于特定应用场景。自主学习与适应：AGI能够从经验中学习，并适应新环境和新情境。
什么是零样本提示和少样本提示
共同学习、强我国家
09-07 548
✍文章目标：向你呈现在AI训练模型中，什么是零样本提示？什么是少样本提示？结果如何
FewRel: 大规模少样本关系抽取数据集入门指南
gitblog_00953的博客
08-09 1072
FewRel: 大规模少样本关系抽取数据集入门指南 FewRelA Large-Scale Few-Shot Relation Extraction Dataset项目地址:https://gitcode.com/gh_mirrors/fe/FewRel 1. 项目介绍 FewRel 是一个由清华大学自然语言处理实验室（THUNLP）构建的大规模少样本关系分类数据集。该项目旨在提供一个基准测试平...
探索零样本关系三元组提取的未来：RelationPrompt深度解析与推荐
gitblog_00021的博客
06-23 608
探索零样本关系三元组提取的未来：RelationPrompt深度解析与推荐 RelationPromptThis repository implements our ACL Findings 2022 research paper RelationPrompt: Leveraging Prompts to Generate Synthetic Data for Zero-Shot Relatio...
《A Survey of Zero-Shot Learning》零样本学习综述
BUGBOYS的博客
12-15 2861
虽然基于深度学习的图像分类方法近年来在图像识别和特征检测等领域都已经取得了很大的成功，但这种模型依赖于监督学习，其训练需要为每个类别保证大量的带标签的训练数据。此外，监督学习模型局限于识别训练时已存在的类别，并不能在未知类别的图像上进行训练。但现实生活中并不是所有的类别都有大量带标签的实例数据可供使用，因此，在某些实际情况下这些模型并不一定实用。所以发展零样本学习是很有必要的。零样本学习就是利用训练集的样本训练一个模型，学习一个分类器使之应用到测试集仍能正确识别那些在训练集中不存在的标签。
探索未来智能：ChatIE - 零样本信息抽取的新里程碑
gitblog_00005的博客
05-19 518
探索未来智能：ChatIE - 零样本信息抽取的新里程碑 ChatIE The online version is temporarily unavailable because we cannot afford the key. You can clone and run it locally. Note: we se...
零样本学习的相关概念——综述
kuxingseng123的博客
11-14 3118
慢慢的将零样本学习全部都给搞透彻，研究彻底，慢慢的将其研究透彻！
MNIST类增量学习
01-15
### MNIST 数据集上类增量学习方法的实现 #### 背景介绍 MNIST 是一个手写数字识别的数据集，常用于测试机器学习算法和神经网络架构。类增量学习(Class-Incremental Learning)，也称为连续学习或终身学习，旨在让模型能够随着时间推移不断学习新的类别而不遗忘旧的知识。 #### 类增量学习挑战 在传统多层感知机(MLP)[^1] 或其他分类器如决策树[^2] 上应用类增量学习面临几个主要挑战： - **灾难性遗忘(Catastrophic Forgetting)**：当引入新任务时，模型可能会忘记先前学到的任务。 - **数据分布偏移(Distribution Shift)**：随着新增加的类别到来，输入特征空间可能发生变化。 - **样本不平衡(Sample Imbalance)**：不同时间点收集到的新老类别数量往往不均衡。 为了应对这些挑战，在 MNIST 数据集中实施类增量学习可以采取以下策略之一或多者组合的方式来进行处理。 #### 解决方案概述 一种常见的解决方案是在每次遇到一批新类别时更新现有模型参数的同时保持对过去已知类别的记忆能力。具体来说，可以通过调整损失函数、优化训练过程以及设计特殊的网络结构来达成这一目标。 ##### 方法一：正则化技术 (Regularization Techniques) 通过向标准交叉熵损失加入额外项以惩罚那些使得当前权重远离之前状态的变化幅度较大的情况。例如 Elastic Weight Consolidation(EWC) 和 Synaptic Intelligence(SI) 都属于此类方法。 ```python import tensorflow as tf from keras import backend as K def ewc_loss(model, old_params, fisher_matrix): def loss(y_true, y_pred): ce = tf.keras.losses.categorical_crossentropy(y_true, y_pred) reg_term = sum([tf.reduce_sum(tf.square(w - w_old)) * f / 2.0 \ for w, w_old, f in zip(model.trainable_weights, old_params, fisher_matrix)]) return ce + reg_term return loss ``` ##### 方法二：重放缓冲区 (Replay Buffer) 维护一个小规模的历史数据缓冲池(rehearsal buffer), 在每轮迭代过程中随机抽取部分历史样本来参与新一轮梯度下降计算。这种方法有助于缓解因缺乏过往实例而导致的记忆衰退现象。 ```python class ReplayBuffer(object): def __init__(self, capacity): self.buffer = [] self.capacity = capacity def add(self, data_point): if len(self.buffer)<self.capacity: self.buffer.append(data_point) else: idx=np.random.randint(len(self.buffer)) self.buffer[idx]=data_point def sample_batch(self,batch_size): indices = np.random.choice(range(len(self.buffer)), size=batch_size, replace=False) batch=[self.buffer[i]for i in indices] X,y=zip(*batch) return list(X),list(y) replay_buffer = ReplayBuffer(capacity=5000) ... X_replay, y_replay = replay_buffer.sample_batch(batch_size=32) loss_value = model.train_on_batch(np.concatenate((X_new,X_replay)), np.concatenate((y_new,y_replay))) ``` ##### 方法三：动态扩展网络 (Dynamic Network Expansion) 允许网络根据需要增加新的单元/层而不是固定不变地修改已有组件。Progressive Neural Networks 就是一个典型例子，它会为每一个新任务创建独立分支并仅共享低级表示而不会干扰高层抽象特性。 ```python # 假设我们有一个基础卷积神经网路作为初始模型 base_model = create_base_network() # 当有新任务进来的时候， new_task_branch = create_new_branch() combined_model = combine_models(base_model,new_task_branch) ``` 以上三种方式都可以有效地帮助解决MNIST数据集上的类增量学习问题。实际操作中可以根据具体情况选择合适的技术路径或者混合运用多种手段提高性能表现。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

cooldream2009

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值