HERODING23的博客

一篇来自ACL 2023的工作，有关通用信息抽取模型的内容，这里并没有使用当前火爆的指令微调生成式大模型的方法来抽取信息，而是在基于最简单的bert模型，在损失函数和attention机制上做文章，是一篇非常值得借鉴的工作。模糊跨度损失和模糊跨度注意力。实验部分证明模型在收敛速度和小样本场景表现出色。

一篇关于信息抽取的中文数据集构建的文章，旨在构建指令微调数据集对大语言模型进行微调，以达到对输入文本更为准确抽取其中信息的目的，阅读总结部分有我对这篇工作更为细致的看法~本文引入了一个名为的信息抽取任务，旨在要求LLM遵循特定的说明或指南来提取信息。此外构建了名为InstructIE的数据集，该数据集由来自中文维基百科的270000个弱监督数据和1000个高质量的众包注释实例组成。实验部分，InstructIE和其他模型进行了对比，还有一定的提升空间。最后总结了基于指令的IE任务现有的挑战。

通用抽取领域很新的一篇文章，使用指令微调的范式来指导预训练的大语言模型应用在通用抽取领域，希望能够通过这篇文章的阅读，学习当前通用抽取领域工作的思路，并找到更好的解决方案。大模型在信息抽取任务上存在困难，本文提出了InstructUIE，一个基于指令微调的统一信息抽取框架，它在32个不同信息抽取数据集上进行了验证，实验结果表明该模型实现了与bert相当的性能，并且在零样本设置中显著优于gpt3.5和领域最优。