HERODING23的博客

一篇应用在小样本设置下文本分类任务的文章，标题Mask-guided特别具有吸引力，其实对于小样本设置，主要的展开方向有三种，第一是数据，第二是模型，第三是算法，数据上可以采用数据增强，模型上可以采用不同架构的模型以尽可能缩小假设空间，算法上可以在损失函数上做文章，本篇文章实际上是数据增强和对比损失的结合，还是有一定的借鉴意义。无基于Transformer的语言模型已经在很多任务上表现出色，但是训练时需要大量监督数据，在低资源场景具有挑战性。本文提出Mask-BERT，帮助BERT解决小样本学习问题。

NLP通用任务框架可以打打降低NLP任务处理的门槛，提供NLP研究人员解决NLP任务高效的处理方案，这将进一步推动NLP领域的发展，可以说是具有里程碑意义的工作~HugNLP是一个统一而全面的自然语言处理库，旨在让NLP研究人员利用现成的算法，在现实世界中使用用户定义的模型和任务开发新方法场景。其结构由模型、处理器和应用程序组成，它统一了预训练模型在不同NLP任务上的学习过程。作者通过一些特色的NLP应用如通用信息抽取、低资源挖掘、代码理解和生成等来展示HugNLP的有效性。

一篇来自ACL2022的文章，用数据增强的方法解决低资源场景NER问题，方法独特新颖，同时结合了上下文和标签序列化，具有很强的说服力，并且数据增强的方法在任何低资源场景都适用，无论模型是小模型还是大模型。数据增强是解决低资源场景下数据稀缺的有效方案。但是在NER任务上，数据增强通常会受到token标签错位的影响，导致降低性能。本文提出将Masked Entity Language Modeling (MELM)作为低资源NER中新的数据增强框架。

一篇关于生成模型在小样本NER中的应用，来自ACL2022，这种采用生成模型解决序列标注问题的方法很新颖，也很实用，只是需要在大规模语料库上进行预训练，还需要收集大量数据自己构建训练数据，相比之下，可能现在的大模型在小样本NER场景下更具有优势。小样本NER需要从有限的实例中有效地捕获信息，并从外部资源中转移有用的知识。本文提出一个小样本NER的自描述机制，它可以有效地利用说明性实例并准确地从外部资源中转移知识。

一篇2023年4月26日才挂上arxiv的文章，是我看到的第一篇用LLM解决NER任务的文章，在我看来，LLM才是NER问题的最优解，尤其是小样本场景，具有丰富先验知识的LLM，其涌现能力总能让我叹为观止。LLM在NER上的表现低于基线，这是因为二者任务不同，前者是文本生成任务，后者是序列标记任务。GPT-NER通过将序列标记任务转换为LLM的生成任务来弥补二者的差距。例如输入是Columbus is a city，输出@@Columbus## is a city，@@##是需要提取的实体的标记。

一篇来自ACL2022的文章，采用对比学习的方法提高模型的性能，在实现方法上和实验论证部分很值得借鉴，至于和大模型性能的对比，还需要进一步的调研~低资源场景NER不可或缺，但现有的方法仅从源域学习特定的语义特征和中间表示，这会影响对目标域的泛化能力，降低性能。为此本文提出CONTAINER，一种新颖的对比学习技术，可以优化小样本NER中token间分布的距离，从而有效缓解过拟合问题。该方法在多个数据集上模型性能显著提升，包括在具有挑战的场景。

一篇关于元学习方法在小样本NER中的应用，来自TKDE2022，作为第一篇在小样本NER中引入元学习方法，还是非常值得借鉴的，但是在大模型的冲击下，这种方法在NER中没办法走得更远，还是得将大模型的知识引入到NER中才能真正解决问题。N-way K-shot小样本设置广泛应用于关系抽取和图像分类，作为序列标注问题的NER，由于一个句子中实体个数和类别未知，导致实体类纠缠在一起，N-way K-shot的NER问题无法解决。

一篇关于小样本学习的综述，引用量高达1600余次，文章的知识通俗易懂，结构清晰，是FSL入门的绝佳文章，相信你一定会有所收获~机器学习在数据集很小的时候会遇到阻碍，小样本学习（FSL） 使用先验知识，可以快速泛化到仅包含少量具有监督信息的样本的新任务中。FSL的核心问题是经验风险最小化不可靠。数据：使用先验知识来增强监督经验；模型：使用先验知识来减少假设空间；算法：使用先验知识来改变在假设空间中对最佳假设的搜索。