HERODING23的博客

最近在做和大模型通用抽取相关的任务，需要将所有数据集转换为相同的格式，便于构建指令微调数据集。在处理数据时需要将不同格式的NER数据集转换为方便处理的json格式数据，这是一项非常繁杂的工作。在NER领域，没有一个统一的格式规范，博主收集了近30份NER数据集，总结出常见的NER数据集格式包括BIO、BIEO、excel格式的BIO、数据标签分离、内嵌式json等，每种格式可能只有两三个数据集，如果单独为其进行编码需要耗费不少精力，拖慢工作进度。

通用抽取领域很新的一篇文章，使用指令微调的范式来指导预训练的大语言模型应用在通用抽取领域，希望能够通过这篇文章的阅读，学习当前通用抽取领域工作的思路，并找到更好的解决方案。大模型在信息抽取任务上存在困难，本文提出了InstructUIE，一个基于指令微调的统一信息抽取框架，它在32个不同信息抽取数据集上进行了验证，实验结果表明该模型实现了与bert相当的性能，并且在零样本设置中显著优于gpt3.5和领域最优。

NLP通用任务框架可以打打降低NLP任务处理的门槛，提供NLP研究人员解决NLP任务高效的处理方案，这将进一步推动NLP领域的发展，可以说是具有里程碑意义的工作~HugNLP是一个统一而全面的自然语言处理库，旨在让NLP研究人员利用现成的算法，在现实世界中使用用户定义的模型和任务开发新方法场景。其结构由模型、处理器和应用程序组成，它统一了预训练模型在不同NLP任务上的学习过程。作者通过一些特色的NLP应用如通用信息抽取、低资源挖掘、代码理解和生成等来展示HugNLP的有效性。

一篇来自ACL2022的文章，用数据增强的方法解决低资源场景NER问题，方法独特新颖，同时结合了上下文和标签序列化，具有很强的说服力，并且数据增强的方法在任何低资源场景都适用，无论模型是小模型还是大模型。数据增强是解决低资源场景下数据稀缺的有效方案。但是在NER任务上，数据增强通常会受到token标签错位的影响，导致降低性能。本文提出将Masked Entity Language Modeling (MELM)作为低资源NER中新的数据增强框架。

一篇关于生成模型在小样本NER中的应用，来自ACL2022，这种采用生成模型解决序列标注问题的方法很新颖，也很实用，只是需要在大规模语料库上进行预训练，还需要收集大量数据自己构建训练数据，相比之下，可能现在的大模型在小样本NER场景下更具有优势。小样本NER需要从有限的实例中有效地捕获信息，并从外部资源中转移有用的知识。本文提出一个小样本NER的自描述机制，它可以有效地利用说明性实例并准确地从外部资源中转移知识。

一篇2023年4月26日才挂上arxiv的文章，是我看到的第一篇用LLM解决NER任务的文章，在我看来，LLM才是NER问题的最优解，尤其是小样本场景，具有丰富先验知识的LLM，其涌现能力总能让我叹为观止。LLM在NER上的表现低于基线，这是因为二者任务不同，前者是文本生成任务，后者是序列标记任务。GPT-NER通过将序列标记任务转换为LLM的生成任务来弥补二者的差距。例如输入是Columbus is a city，输出@@Columbus## is a city，@@##是需要提取的实体的标记。

一篇来自ACL2022的文章，采用对比学习的方法提高模型的性能，在实现方法上和实验论证部分很值得借鉴，至于和大模型性能的对比，还需要进一步的调研~低资源场景NER不可或缺，但现有的方法仅从源域学习特定的语义特征和中间表示，这会影响对目标域的泛化能力，降低性能。为此本文提出CONTAINER，一种新颖的对比学习技术，可以优化小样本NER中token间分布的距离，从而有效缓解过拟合问题。该方法在多个数据集上模型性能显著提升，包括在具有挑战的场景。

一篇关于元学习方法在小样本NER中的应用，来自TKDE2022，作为第一篇在小样本NER中引入元学习方法，还是非常值得借鉴的，但是在大模型的冲击下，这种方法在NER中没办法走得更远，还是得将大模型的知识引入到NER中才能真正解决问题。N-way K-shot小样本设置广泛应用于关系抽取和图像分类，作为序列标注问题的NER，由于一个句子中实体个数和类别未知，导致实体类纠缠在一起，N-way K-shot的NER问题无法解决。

一篇来自2022年TKDE的有关NER综述的文章，也算是我接触NER以来的第二篇文章，其中第一篇是有关图神经网络在NER中的应用，由于没有基础知识，踩了许多坑，在汇报的时候很多概念也没能阐述清楚，这次通过阅读综述的方式，来对NER领域进行一个全面完整的认识，希望能在这篇CCF A的期刊中得到收获。命名实体识别（NER）的任务是从属于预定义语义类型的文本中识别出实体类型（mentions of rigid designators）。