论文笔记3-12

最新推荐文章于 2021-04-23 17:46:45 发布
最新推荐文章于 2021-04-23 17:46:45 发布
阅读量327 收藏 1
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43780551/article/details/104822747
版权

论文标题FEW-SHOT TEXT CLASSIFICATION WITH DISTRIBUTIONAL SIGNATURES
这篇文章是一片用到了元学习来处理问题的文章，文章中提到了关于预训练阶段，一些底层模式可以被共享，这在计算机视觉中比较明显，例如底层的边缘检测等，但是对于文本处理，在一类任务中起到重要作用的单词，可能在另一类任务中就不那么重要了
比如在医药领域，可能sleep是一个很重要的词，在政治领域trump是一个很重要的的词，但是当在不同领域的时候他们的重要性会下降
那么本文提出了一种解决办法
元学习框架内进行训练，将这些特征映射到注意力分数，然后用注意力分数来衡量单词的词汇表示。
在这里插入图片描述
第一个是注意力生成器，它可以将分布签名转换为注意力分数，从而反映出单词对分类的重要性。 第二个组件，回归器，仅需看几个训练示例，即可迅速学会做出预测。 注意生成器在所有episode之间共享，而回归器则从头开始为每个episode训练。 后者的预测损失为注意力产生者提供了监督。 从理论上讲，我们显示出注意力生成器对于单词替换扰动具有鲁棒性。
大致意思就是先通过元学习框架中学习到的特征来生成注意力向量在这里插入图片描述
然后用此向量和embeding相乘
在这里插入图片描述
作为后续的输入
损失函数没有用原型网络
，而是用当作普通的分类网络

阿多要努力学习
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
FEW-SHOT TEXT CLASSIFICATION WITH DISTRIBUTIONAL SIGNATURES
kuxingseng123的博客
01-06 757
慢慢的将其全部搞起来都行啦的回事与打算。
小样本学习记录————利用所有数据的元学习Few-shot Text Classification with Distributional Signatures
yunlong_G的博客
01-19 1492
小样本学习记录，关于如何将文本分类中的信息进行转移。
Few-shot Learning进展调研
idol24的博客
10-14 1470
点击上方“机器学习与生成对抗网络”，关注"星标"获取有趣、好玩的前沿干货！小样本学习主要研究如何通过少量样本学习识别模型。目前学术界普遍研究的是N-way-K-shot问...
ICLR 2020元学习论文汇总
yaoxunji的博客
02-03 1432
1.Title Meta-Q-Learning Author Rasool Fakoor, Pratik Chaudhari, Stefano Soatto, Alexander J. Smola Highlight MQL is a simple off-policy meta-RL algorithm that recycles data from t...
transfer learning_香侬读 | 使用元学习(Meta-Learning)进行少样本下的文本分类
weixin_39827905的博客
10-26 427
文章作者：Bao, Yujia and Wu, Menghua and Chang, Shiyu and Barzilay, Regina文章链接：https://arxiv.org/pdf/1908.06039.pdf代码链接：https://github.com/YujiaBao/Distributional-Signatures收录情况：Work in Progress for ICLR20...
文献笔记3-Using High-Frequency Local Field PotentialsFromMulticortex
最新发布
10-02
这篇论文的作者包括来自华中科技大学、西北大学等机构的研究人员。他们的工作不仅揭示了高频LFPs在解码运动意图方面的潜力，也为未来开发更高效、更稳定的iBMI系统提供了理论基础和实证依据。这些研究对于理解和利用...
论文笔记-TBGC应用到多工位总装车间.rar
11-12
《TBGC在多工位总装车间的应用》这篇论文笔记主要探讨了如何将Task-based Grouping Control（TBGC）理论有效地应用于汽车制造业中的多工位总装车间，以提升生产效率和质量。TBGC是一种先进的生产调度和控制策略，...
YOLOv3论文笔记1
08-03
该论文介绍了YOLOv3如何采用改进的技术来优化其前一代YOLOv2的设计，包括引入更好的基础网络结构、优化边界框预测方式以及实现多尺度预测。 首先，YOLOv3引入了多尺度预测，以适应不同大小的目标。这种设计灵感来源...
AlexNet论文笔记总结
04-09
"AlexNet 论文笔记总结" 这篇笔记总结了 AlexNet 的论文，讨论了使用深度卷积神经网络（CNN）在 ImageNet 图像分类任务中的应用。论文的主要贡献是通过深入的卷积神经网络在 ImageNet LSVRC-2010 1000 类图像分类...
论文笔记模板——自用xmind模板
03-08
本资源提供了一份“论文笔记模板——自用xmind模板”，旨在帮助用户以更有序的方式整理和记录论文阅读心得。 Xmind是一款强大的思维导图软件，它以其直观的界面和丰富的功能深受用户喜爱，尤其适用于整理复杂信息和...
【论文笔记】通俗理解少样本文本分类 (Few-Shot Text Classification) (1)
zenRRan的博客
04-08 1913
This notesummarised the main points of Few-Shot Text Classification with Distributional Sig...
解读《Few-Shot Text Classification with Induction Network》
小岁月太着急
08-10 7211
论文地址 github地址 这篇论文是阿里小蜜团队发表的一篇工作，主要是用来做对话场景中的意图识别中，所以本质上也是一篇文本分类中研究few-shot learning的工作。训练过程如下，简单来讲就是从训练集中，每一个episode的时候，都随机选择C个类（训练集中的类别个数大于C），然后每一个类别都同样随机选择K个样本，这样每一个episode中的数据样本个数便是C * K个，这CK个样本...
论文笔记3-20
weixin_43780551的博客
03-20 138
Human-level concept learning through probabilistic program induction 人类理解概念的能力比计算机要高很多，即使计算机现在有了很强的识别能力，但是对于一个新的概念仍然需要重新训练 概念被表示为简单的概率程序，即以抽象描述语言表示为结构化过程的概率生成模型 在本文中，用手写字符来表示概念，一个字符可以被表示为他的子部分和之间的空间关...
ICLR 2020 元学习（Meta-learning）及小样本学习（Few-shot learning)等方向上接收论文总结
yyywxk的博客
01-04 5248
ICLR 2020 将于2020年4 月 26 日于埃塞俄比亚首都亚的斯亚贝巴举行。 在最终提交的 2594 篇论文中，有 687 篇被接收，接收率为 26.5%；和之前一样，所有被接收的论文都将进行 poster 展示；23% 的接收论文将进行口头讲述报告，其中108 篇论文为 spotlight，演讲时间 4 分钟，48 篇论文将进行 10 分钟以上的 talk。 ...
小样本学习下的多标签分类问题初探
AITIME_HY的博客
04-23 2254
论文名称：Few-shot Learning for Multi-label Intent Detection论文作者：侯宇泰、赖勇魁、吴禹杉、车万翔、刘挺原创作者：侯宇泰论文链接：htt...
FEW-SHOT LEARNING WITH GRAPH NEURAL NETWORKS 论文笔记
m0_38031488的博客
03-18 7808
论文链接：FEW-SHOT LEARNING WITH GRAPH NEURAL NETWORKS Idea: Few-shot 学习不依靠于规则化扩展数据集来补偿缺少有监督数据对模型带来的影响，而是受启发与人类学习去探索相似任务在空间上的分布情况。 GNN网络实际是CNN网络在非欧几里得空间上的扩展。 Problem Set-up 以下的定义可以应用于semi-supervis...
DAY-6 8篇小样本学习 (few-shot learning)
Sylvia_Lan的博客
02-04 634
DAY-6 8篇小样本学习 (few-shot learning) 原文连接：https://bbs.cvmart.net/articles/1558 Graph Few-shot Learning via Knowledge Transfer（通过知识迁移的图小样本学习），AAAI2020 提出“一种基于辅助图的先验知识的图小样本学习（GFL）算法” AdarGCN: Adaptive Aggregation GCN for Few-Shot Learning（自适应聚合GCN的小样本学习）
元学习与小样本学习 | (3) 基于小样本学习的意图识别冷启动
sdu_hao的博客
03-03 5038
原文地址 论文下载(提取码:nrh8) 随着深度学习和自然语言处理技术的发展，很多公司都在致力于发展人机对话系统，希望人和机器之间能够通过自然语言进行交互。笔者所在的阿里巴巴小蜜北京团队打造了一个智能对话开发平台——Dialog Studio，以赋能第三方开发者来开发各自业务场景中的任务型对话，而其中一个重要功能就是对意图进行分类。 大量平台用户在创建一个新对话任务时，并没有大量标注数据，每个意图...
AI大模型的学习笔记，里面有许多大模型论文的学习内容，值得研究
09-12
【AI大模型】的学习笔记，里面有许多大模型论文的学习内容，值得研究。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值