论文笔记
文章平均质量分 94
ywm_up
这个作者很懒,什么都没留下…
展开
-
ACL20 - Don‘t stop pretraining: adapt language models to domains and tasks
Gururangan S, Marasović A, Swayamdipta S, et al. Don’t stop pretraining: adapt language models to domains and tasks[J]. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics. (ACL 2020).Github:https://github.com/allena原创 2021-12-28 20:01:17 · 548 阅读 · 0 评论 -
AAAI19 - Hybrid attention-based prototypical networks for noisy few-shot relation classification
Gao T, Han X, Liu Z, et al. Hybrid attention-based prototypical networks for noisy few-shot relation classification[C]//Proceedings of the AAAI Conference on Artificial Intelligence. 2019, 33(01): 6407-6414.MLA文章目录摘要介绍方法Instance EncoderPrototypical Networ原创 2021-12-28 19:58:42 · 718 阅读 · 0 评论 -
ACL20 - Zero-shot Text Classification via Reinforced Self-training
文章目录摘要介绍自训练方法强化学习模块实验数据方法结果总结摘要传统自训练(self-training)方法采用固定的探索式算法,在不同数据集上表现不一。本文采用强化学习框架学习数据选择策略,提供更可靠的数据。介绍处理零样本文本分类通常有两个主要的方法,目前工作主要在第1点,忽略了第2点:整合更多的外部知识,建立更多复杂的类型连接整合无标签数据提升泛化能力直接用传统的自训练方式可能会遇到一些问题:传统自训练方式采用手工制定的探索式算法选择数据,调整选择策略开销很大传统的自训练方法在跨原创 2021-12-28 19:46:12 · 1054 阅读 · 1 评论 -
ICLR18 - Meta-learning for semi-supervised few-shot classification
Ren MY, Triantafillou E, Ravi S, et al. Meta-learning for semi-supervised few-shot classification. ICLR 2018.本文提出了三种原型网络的变体,表现超过了原来的原型网络。变体1: Prototypical networks with soft k-means我们不仅有 support set、query set,而且还有一个 unlabeled set。先用 support set 初始化每个类的原创 2021-12-24 11:30:36 · 411 阅读 · 0 评论 -
ACL21 - Making Pre-trained Language Models Better Few-shot Learners
Gao T, Fisch A, Chen D. Making pre-trained language models better few-shot learners[J]. ACL 2021.Github:https://github.com/princeton-nlp/LM-BFF摘要GPT3效果很好,但是太大了,不实用。受启发于GPT3 使用 prompt 做 Few-shot 任务表现不错,本文提出 LM-BFF 模型,能更好的 微调 few-shot 语言模型。模型包括:能够自动生成转载 2021-12-23 21:08:51 · 415 阅读 · 0 评论 -
EMNLP21 - Data Augmentation for Cross-Domain Named Entity Recognition
Chen S, Aguilar G, Neves L, et al. Data Augmentation for Cross-Domain Named Entity Recognition[J]. EMNLP 2021.Github:https://github.com/RiTUAL-UH/style_NER文章目录摘要介绍方法数据预处理增加输入扰动去噪重构 Denoising Reconstruction转换重构 Detransforming Reconstruction领域分类 Domain Cla原创 2021-12-23 15:35:17 · 945 阅读 · 2 评论 -
ACL21 - Learning from Miscellaneous Other-Class Words for Few-shot Named Entity Recognition
Tong M, Wang S, Xu B, et al. Learning from Miscellaneous Other-Class Words for Few-shot Named Entity Recognition[J]. ACL2021.介绍目前工作忽略了 O 标签实体潜在的语义信息。要是能从 O 标签中,再区分出一种之前未定义的类,就可以获取更多的实体之间的关系。从 O 标签实体中识别出未定义类,有两大难点:语义混乱:各种各样的类型都有可能归类为 O,这取决于标注的人怎么划分类型的,原创 2021-12-22 15:46:19 · 745 阅读 · 0 评论 -
EMNLP20 - Simple and effective few-shot named entity recognition with structured nearest neighbor le
文章目录AbstractIntroductionProblem Statement and SetupModelNearest neighbor classification for few-shot NERStructured nearest neighbor learningExperimentsTag set extensionDomain TransferCompetitive systemsResultsAbstract基于最近邻和结构化推理,构建了一个简单的 few-shot NER 系统翻译 2021-12-21 21:25:54 · 1062 阅读 · 2 评论 -
匹配网络 Matching Network
匹配网络 Matching Network匹配网络其实就是引入注意力机制,通过对 embedding 后的特征计算注意力,利用注意力得分进行分析:首先也是对支持集和查询集进行 embedding,然后用查询集样本对每个支持集样本计算注意力:a(x^,xi)=ec(f(x^),g(xi))/∑j=1kec(f(x^),g(xj))a\left(\hat{x}, x_{i}\right)=e^{c\left(f(\hat{x}), g\left(x_{i}\right)\right)} / \sum_转载 2021-12-17 17:22:19 · 4501 阅读 · 0 评论 -
关系网络 Relation Network
文章目录比较孪生网络、原型网络和关系网络关系网络 Relation Network实现过程网络结构损失函数训练策略算法推广 —— 推广到 zero-shot创新点算法评价比较孪生网络、原型网络和关系网络孪生网络需要计算任意两两样本的匹配程度,而原型网络则进一步改进,提出对样本进行适当的 embedding,然后计算样本每一类的样本中心,称为原型 prototype,通过模型学习出 prototype 的位置,对测试样本计算到每个原型的距离,从而进行分类。不论是孪生网络还是原型网络,在分析两个样本的时候原创 2021-12-17 17:21:25 · 9630 阅读 · 0 评论 -
原型网络 Prototypical Network
原型网络 - Prototypical Network原型网络出自下面这篇论文。Snell J, Swersky K, Zemel R S. Prototypical networks for few-shot learning[J]. NIPS 2017.原理原理和聚类有点相似孪生网络的缺点就是要对比目标和过去每个样本之间的相似度,从而分析目标的类别,而原型网络就提出,把样本投影到一个空间,计算每个样本类别的中心,在分类的时候,通过对比目标到每个中心的距离,从而分析出目标的类别。sup原创 2021-12-17 17:19:29 · 5222 阅读 · 0 评论 -
孪生网络 Siamese Network
文章目录孪生网络的发展孪生网络定义功能与用途损失函数孪生网络的发展孪生网络又称为连体网络,网络中的连体是通过共享权值来实现。孪生网络最早是出现在1993年的论文《Signature Verification using a ‘Siamese’ Time Delay Neural Network》用于美国支票上的签名验证,即验证支票上的签名与银行预留签名是否一致。孪生网络是一种监督学习,用于度量学习。随后由于硬件的限制网络技术的发展,几乎停滞不前。2010年Hinton在ICML上发表了文章《Re原创 2021-12-17 17:18:40 · 20173 阅读 · 0 评论 -
EMNLP21 - Few-Shot Named Entity Recognition: An Empirical Baseline Study
Huang J, Li C, Subudhi K, et al. Few-Shot Named Entity Recognition: An Empirical Baseline Study[C]//Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing. 2021: 10408-10423. EMNLP 2021.文章目录AbstractIntroductionMethodPrototy翻译 2021-12-13 20:33:58 · 643 阅读 · 0 评论 -
ACL21 - FEW-NERD:A Few-shot Named Entity Recognition Dataset
Ding N, Xu G, Chen Y, et al. Few-NERD: A Few-Shot Named Entity Recognition Dataset[J]. ACL-IJCNLP 2021.目录:文章目录AbstractIntroductionN-way K-shot Sampling strategiesCollection of FEW-NERDData AnalysisBenchmark SettingsStandard Supervised NERFew-shot NERExpe翻译 2021-12-13 15:16:24 · 1087 阅读 · 2 评论 -
ACL21 - Named Entity Recognition with Small Strongly Labeled and Large Weakly Labeled Data
Jiang H, Zhang D, Cao T, et al. Named Entity Recognition with Small Strongly Labeled and Large Weakly Labeled Data[J]. The 59th Annual Meeting of the Association for Computational Linguistics (ACL 2021).文章目录AbstractIntroductionMethod阶段1:对领域内大量的无标签数据进行预训练阶翻译 2021-12-10 20:41:48 · 410 阅读 · 0 评论 -
SAC19 - Few-shot classification in Named Entity Recognition Task
[1] Fritzler A, Logacheva V, Kretov M. Few-shot classification in named entity recognition task[C]//Proceedings of the 34th ACM/SIGAPP Symposium on Applied Computing. 2019: 993-1000.文章目录Abstract1. Introduction2. Related Work3. Prototypical network3.1 原型网络翻译 2021-12-08 16:40:37 · 355 阅读 · 0 评论