论文解读: Few-Shot Text Classification with Induction Network

最新推荐文章于 2024-05-13 20:57:31 发布
最新推荐文章于 2024-05-13 20:57:31 发布
阅读量1.6k 收藏 4
点赞数 2
分类专栏： NLP 论文分享 文章标签： NLP 论文解读
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/mp43ily/article/details/101624878
版权
本文深入解析了一种改进的Few-Shot文本分类方法，通过归纳网络实现class-wise向量学习，增强样本间对比，提高分类准确率。模型包含Encoder、Induction和Relation模块，尤其在处理类别不平衡和新类别识别上展现出优越性能。
摘要由CSDN通过智能技术生成
目的

在文本分类中，经常碰到一些很少出现过的类别或这样不均衡的类别样本，而且当前的few-shot技术经常会将输入的query和support的样本集合进行sample-wise级别的对比。但是，如果跟同一个类别下的不同表达的样本去对比的时候产生的效果就不太好。
因此，文章的作者就提出了，通过学习sample所属于的类别的表示得到class-wise的向量，然后跟输入的query进行对比，这样能比state-of-the-art的模型提高3%正确率，同时泛化的效率也更高。

模型

模型分为三个模块：Encoder, Induction 和 Relation. 大概的架构如下图.
在这里插入图片描述

Data:
构建数据集的时候会把样本分为support set—S 和 query set — Q，support set就是用来训练参数的，query set就是用来模拟真实请求，计算loss的;
support set是从C个Class中，每个class抽出K个样本生成的，那么在C个class中剩余的部分就作为query set.
Encoder Module:
Encoder阶段就是将support set的文本进行encoding; 首先，会经过Bi-LSTM得到这样句子的表示;
假如:support set的样本是m (m=C * K)，LSTM输出的表示的维度是u的话，经过Bi-LSTM会得到H，其维度为(m, T, 2u).

最低0.47元/天 解锁文章
Alex_Cen
关注
  • 2
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
NAACL2021丨Knowledge Guided Metric Learning for Few-Shot Text Classification
u011150266的博客
05-25 430
作者：凯 单位：燕山大学 论文链接：https://www.aclweb.org/anthology/2021.naacl-main.261/ Knowledge Guided Metric Learning for Few-Shot Text ClassificationAbstractIntroductionContributions：MethodologyExperiment result Abstract 人类可以在很少的例子中非常有效地区分新类别，主要是由于人类可以利用从相关任务获得的知识。..
Few-Shot Text Classification with Induction Network
li_li_li_lili的博客
02-11 932
文章题目：Few-Shot Text Classification with Induction Network github链接：https://github.com/wuzhiye7/Induction-Network-on-FewRel 简介： 因此提出了对查询集中的每一类，一个更好的更具有一般性的表示，并将其与查询集进行比较。本文提出了Induction Network，将动态规划路径和...
论文记录：Few-Shot Text Classification with Induction Network
qq_14810321的博客
09-27 629
针对问题： 对话系统中的意图识别，因为意图会很多，样本量比较少，因此考虑few-shot的解决方案。 总体架构： 1、encode： text sequence embedding。 Bi-LSTM + Attention （ softmax（M2 * tanh{ M1 * V{1：H} }）） ...
【论文笔记】通俗理解少样本文本分类 (Few-Shot Text Classification) (1)
zenRRan的博客
04-08 1942
This notesummarised the main points of Few-Shot Text Classification with Distributional Sig...
Induction Networks for Few-Shot Text Classification
init__的博客
11-28 592
文章目录reference reference 一文入门元学习（Meta-Learning）（附代码） Induction Networks for Few-Shot Text Classification
Generalizing from a Few Examples: A Survey on Few-Shot Learning
weixin_38654615的博客
01-08 1828
Generalizing from a Few Examples: A Survey on Few-Shot Learning 论文地址：paper 这篇概述很简洁：简介的论文解读 一、 摘要 机器学习在有大量数据支撑的时候的效果很好，但是数据量很少的时候效果很差了。Few shot learning 是针对于这个问题场景下提出的解决办法，他可以迅速自适应到一个新的任务中去。FSL的核心问题是unreliable empirical risk minimizer，基于如何利用先验知识来解决问题，我们可以把
论文解读：胶囊网络在小样本做文本分类中的应用（下）
KuAI_KST的博客
05-21 802
Dynamic Memory Induction Networks for Few-Shot Text Classification 论文提出Dynamic Memory Induction Networks (DMIN) 网络处理小样本文本分类。 两阶段的（two-stage）few-shot模型： 在监督学习阶段（绿色的部分），训练数据中的部分类别被选为base set，用于finetune预训练Encoder和分类器也就是Pretrained Encoder和Classfiier图中的部分。 在元
小样本学习（Few-shot Learning）综述
热门推荐
Paper weekly
04-01 2万+
作者丨耿瑞莹、李永彬、黎槟华单位丨阿里巴巴智能服务事业部小蜜北京团队分类非常常见，但如果每个类只有几个标注样本，怎么办呢？笔者所在的阿里巴巴小蜜北京团队就面临这个挑战。我...
解读《Few-Shot Text Classification with Induction Network》
小岁月太着急
08-10 7256
论文地址 github地址 这篇论文是阿里小蜜团队发表的一篇工作，主要是用来做对话场景中的意图识别中，所以本质上也是一篇文本分类中研究few-shot learning的工作。训练过程如下，简单来讲就是从训练集中，每一个episode的时候，都随机选择C个类（训练集中的类别个数大于C），然后每一个类别都同样随机选择K个样本，这样每一个episode中的数据样本个数便是C * K个，这CK个样本...
FewShotText:用于文本分类的各种热门学习框架的库
05-01
FewShotText 该存储库包含该论文代码 环境设定 # Create environment python3 -m virtualenv .venv --python=python3.6 # Install environment .venv/bin/pip install -r requirements.txt # Activate environment source .venv/bin/activate 在传销任务上对BERT进行微调 model_name=bert-base-cased block_size=256 dataset=OOS output_dir=transformer_models/ ${dataset} /fine-tuned python language_modeling/run_language_modeling.py \ --mod
FewShotNLP:论文“通过预训练的语言表示改进少量镜头文本分类”和“当资源不足的NLP遇到无监督语言模型时”的源代码-Source code learning
03-25
FewShot NLP任务的元预训练然后元学习（MTM）模型 论文“通过预训练的语言表示改进少量镜头文本分类”和“当低资源NLP遇到无监督语言模型时：元预训练然后进行元学习以进行少量镜头文本分类”的源代码。 如果您使用该代码，请pleace引用以下： @inproceedings{deng2020low, title={When Low Resource NLP Meets Unsupervised Language Model: Meta-Pretraining then Meta-Learning for Few-Shot Text Classification (Student Abstract).}, author={Deng, Shumin and Zhang, Ningyu and Sun, Zhanlin and Chen, Jiaoyan and Chen,
few-shot-text-classification:归纳网络和Word2Vec权重初始化的少量二进制文本分类
05-25
少量文本分类 归纳网络和Word2Vec权重初始化的少量二进制文本分类 参考 这是IJCNLP 2019论文的PyTorch实现。 少拍分类 很少有的分类是一项任务，其中必须对分类器进行调整，以适应训练中未看到的新类别，仅给出每个新类别的几个示例。 有一个带有一组班级的大型标签训练集。 但是，经过培训后，最终目标是在测试集上生成分类器（新类的不相交集），对于这些分类器，只有少量标记的支持集可用。 如果支持集包含每个C唯一类的K个标记示例，则目标少拍问题称为C向K拍问题。 通常，K太小而无法训练监督分类模型。 因此，有必要在训练集上进行元学习，以便提取可转让的知识，这将有助于更成功地对测试集进行分类。 先决条件 通过以下方式安装所需的软件包： pip install -r requirements.txt 参数 所有参数都在config.ini中定义。 configparser用
Hierarchical Attention Prototypical Networks for Few-Shot Text Classification
breeze21的博客
05-25 915
Abstract 目前文本分类任务的有效方法大多基于大规模的标注数据和大量的参数，但当监督训练数据少且难以收集时，这些模型就无法使用。 在本文中，我们提出了一种用于少样本文本分类的分层注意原型网络（HAPN）。 我们为我们的模型设计了特征级别、词级别和实例级别的多交叉注意力，以增强语义空间的表达能力。 我们在两个标准的基准小样本文本分类数据集——FewRel 和 CSID 上验证了我们的模型的有效性，并实现了最先进的性能。 分层注意层的可视化表明我们的模型可以分别捕获更重要的特征、单词和实例。 此外，我们的
MGIMN：用于Few-shot文本分类的多粒度交互式匹配网络
be_humble的博客
11-02 302
NAACL 2022. Few-shot 文本分类 少样本 文本匹配 阿里达摩院
【arxiv】Few-Shot Text Generation with Pattern-Exploiting Training
dongguanting的博客
09-21 379
原文链接：https://arxiv.org/pdf/2012.11926.pdf Abstract 为预先训练好的语言模型提供简单的任务描述或自然语言提示，可以在广泛的文本分类任务产生令人印象深刻的few shot结果。 在本文中，我们表明了这个潜在的想法也可以应用于文本生成任务：我们采用Pattern Exploiting Training（PET）范式，这是一种最近提出的few shot方法，用于微调文本生成任务上的生成语言模型。在几个文本摘要和标题生成数据集上，我们提出的PET的变体模型均优于强基
大模型时代下两种few shot高效文本分类方法
choose_c的博客
05-13 842
大模型背景下，两种不依赖大模型和prompt构建框架的的few shot文本分类方法，setfit和fastfit能够高效地实现少镜头下的文本分类任务。
fewshot意图识别
fangting的博客
09-04 939
Few-Shot Text Classification with Induction Network 在test的时候怎么进行, meta learning： 每一个training episode，在training set中选择C个classes， 在每个class下选择training data（样本环境）和testing data（即为query）， 这C个classes的所有train...
2进制3位数过去现在将来输赢公式代码.txt
最新发布
09-07
2进制3位数过去现在将来输赢公式代码
improving adversarially robust few-shot image classification with generaliza
05-09
在计算机视觉领域中，Few-shot图像分类指的是能够从很少的有标记图像样本中快速高效地完成图像分类任务的能力。然而，随着深度学习被广泛应用于计算机视觉领域，人们发现深度神经网络在Few-shot图像分类中容易受到...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值