GrammarGPT:基于监督微调的中文语法纠错开源LLMs探索

最新推荐文章于 2024-05-25 13:51:21 发布
最新推荐文章于 2024-05-25 13:51:21 发布
阅读量1k 收藏 3
点赞数 1
分类专栏： 人工智能LLM 文章标签： 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Johntill/article/details/132416784
版权

GrammarGPT:基于监督微调的中文语法纠错开源LLMs探索

语法纠错的目的是自动纠正不符合语法的句子。最近有些项目已经证明了闭源大型语言模型(llm，例如ChatGPT)在语法错误纠正方面的出色能力。然而，开源LLMs的潜力仍未得到开发。本文介绍了开源LLMs GrammarGPT，初步探讨了其在汉语语法纠错方面的潜力。GrammarGPT 的核心配方是利用chatgpt生成和人工注释的混合数据集。实验结果表明，GrammarGPT 显著优于现有的 SOTA 系统。尽管模型参数比 SOTA 基线大20倍，但指令调优所需的数据量却少了1200倍，这说明了开源llm在本地CGEC上的潜力。我们的 GrammarGPT 在 NLPCC 2023 SharedTask1中排名第三，证明了我们的方法的有效性。

今日AI资讯 2023-08-21 星期一

阿里：将推出大模型数学工具 MindOpt Copilot
联想推出AI大模型训练服务器
"视频版ControlNet"开源了，靠提示词精准换画风，全华人团队出品
清华系团队开源多模态生物医药大模型
AI创企Arthur开源大模型性能评估工具
Meta将推出"免费版编程工具" - Code Llama
腾讯云智能·文案创作：一键生成高质量视频脚本的全能创作工具
美联社禁用ChatGPT创建发布内容
阿里大文娱旗下科技业务公司神力视界孵化出爆款APP妙鸭相机
OpenAI首次公开收购，选择了开源版“我的世界”团队

一、背景介绍

语法错误纠正(grammar Error Correction, GEC)旨在不改变句子的意思，自动纠正不符合语法的句子。在此之前研究汉语语法纠错(CGEC)主要是来自国外汉语学习者的错误，很明显这是不对的。
因此，本次研究转向了母语人士的语法错误，这更加微妙和具有挑战性。

以往对GEC的研究主要采用Seq2edit和Seq2seq两种方法，并在各种GEC上取得了令人印象深刻的性能基准。随着LLMs的出现，有人对闭源LLMs(如ChatGPT)的性能进行了评估，并透露了其出色的错误检测和纠正能力。然而，潜在的的开源LLMs仍未被探索。

在本文中，我们介绍了GrammarGPT，这是一种用于研究语法的新模型开源llm架构通过监督微调解决汉语语法错误纠正(CGEC)的潜力。对CGEC llm进行微调的关键挑战是获得包含母语人士语法错误的高质量并行数据。但是，手动注释这些数据不仅耗时而且代价昂贵，因此需要使用探索自动数据标注方法。最近的研究已经成功地利用从ChatGPT提取的数据和真实世界的数据集对特定领域的LLMs进行微调，有效降低成本的同时实现优越的性能。受这一研究思路的启发，我们提出了一种混合方案包含不同类型的汉语语法错误的数据集。

具体来说，我们首先提出了一种启发式的语法错误检测方法
如图所示，这些线索引导ChatGPT通过提供这些线索来生成不符合语法的句子。然后，对于那些没有线索的错误，我们从公共网站上收集不符合语法的句子并改正手动。此外，我们还提出了一种误差不变的数据增强方法，通过替换命名实体来增强数据的多样性在与相似数据并行的情况下，可以提高模型的识别能力纠正汉语语法错误。我们最终构建了1k个并行数据，并利用这些数据对llm进行指令调优微调。

二、构造混合数据集

下面表中显示了六种以英语为母语的人常常犯的主要语法错误类型，可分为有(w/)线索和没有(w/o)线索两种类型。我们可以找到错误句子流利，符合汉语母语习惯。然而，他们不符合汉语语法，想正确就比较困难了。

表1：各种语法错误的例句。
对那些有(w/)线索的语法错误，我们可以很容易地发现并纠正它们。例如，出现的"超过(more than)"和"大约(about)"导致冗余组件的错误和我们可以去掉其中一个，使句子符合汉语语法。然而，对于那些没有线索的错误，需要对汉语语法有更深的了解检测和纠正。

虽然人工注释的数据提供了高质量的样本，但相关的高成本仍然是一个重要的问题。为了解决这个问题，我们采取了一种妥协的方法。引入ChatGPT生成不符合语法的句子；网上搜集再对不符合语法的句子进行标注。
采用误差不变增强技术，将并行数据中的命名实体替换为相似实体，进一步增强了模型的校正能力
汉语语法错误。最后，我们将并行数据转换为指令，然后利用这些指令对llm进行微调。

2.1 ChatGPT生成数据

有线索的语法错误很容易被发现，并通过识别具体的线索来纠正。例如，more than和about放在一起使用，导致成分冗余;The cause和cause by放在一起使用，导致结构混乱;prompt和pace放在一起使用，导致搭配不当。相反，我们可以通过将这些线索插入到符合语法的句子中来构建不符合语法的句子。我们可以通过提供这些从公共网站收集的线索来指导ChatGPT生成符合我们要求的不符合语法的句子。

2.2 人工标注数据

对于没有明显的语法线索错误句子，我们收集了公共网站的数据，并手工标注。

2.3 错误不变、数据增强

为了优先考虑模型对本地语法错误的关注并提高其鲁棒性，我们设计了一种错误不变的增强方法。
汉语的语法错误往往是微妙的，很少发现在命名实体的位置。因此，我们采用将并行数据中的命名实体替换为相似实体(同义词)的策略。
通过采用这种增强方法，模型可以集中精力进行识别不变的错误，而不是特定的名词，从而提高其性能纠正细微的和难以察觉的语法错误。

三、指令微调

指令调优已经成为调优llm的主流方式，通过提供明确的指令来增强模型理解。
在本文中，我们遵循了这一主流方式，并对llm进行了微调指令调优。指令细节如表2所示，主要是由四个部分组成：

    1. 任务后缀:该组件指导llm承担AI的角色助手。
    1. 任务描述:这里是llm需要完成的具体任务完成是轮廓。
    1. 输入:这对应于使用的不符合语法的句子微调过程中的输入。
    1. 输出:这表示符合语法的句子，作为微调期间的预期输出。
超参数详细信息

训练数据集

共构建1061个并行数据样本，大约35%是手工标注的，而剩下的65%是用ChatGPT生成的。

微调脚本finetuning.py
# https://github.com/FreedomIntelligence/GrammarGPT/blob/main/finetune.py
python finetuning.py

四、推理

验证数据集

采用NLPCC2023开源的数据集

https://github.com/masr2000/NaCGEC/blob/main/data/nacgec.test.input

推理脚本
# https://github.com/FreedomIntelligence/GrammarGPT/blob/main/generate.py
python generate.py
影响分析

在我们对我们的贡献的中，即混合数据集的构建和误差不变增强方法。
值得注意的是，无论是否应用数据增强，在chatgpt生成的数据上训练的模型始终优于训练人类注释数据的模型。将这一观察结果归因于两个主要原因：

  • 首先，人工标注的数据量比ChatGPT生成的数据量要少，因为人工标注的成本较高。
  • 第二，没有线索的语法错误更难纠正。

此外，我们的混合数据集展示了增强的潜力本机CGEC的性能。这一发现证实了我们的方法在构建由汉语语法错误组成的混合数据集方面的有效性。
此外，通过采用误差不变增强方法，我们观察到在混合数据集上训练的模型在召回率和F0.5指标上有显着改善，但在精度上只有微小改善。这表明我们的增强技术通过迫使模型更加关注增强数据中的语法错误来增强模型检测语法错误的能力。

五、应用场景

六、总结

本文介绍了一种开源的大型语言模型(LLM) GrammarGPT
专门设计的汉语语法错误纠正。首先构建了一个包含大约1k个并行数据样本的混合数据集。它包括chatgpt生成的数据和人工注释的数据，用于处理有线索和没有线索的语法错误。此外，我们引入了一种错误不变增强方法，通过强制模型更加关注增强数据中的语法错误，来提高模型对汉语语法错误的纠正能力。我们在构建的数据集上进一步微调开源大规模语言模型。
实验结果和深入分析证明了GrammarGPT在汉语语法纠错中的有效性。


【点击➕关注】：小贾探AI
本人投身于软件行业近十载，专注于WEB工程落地、大数据领域、图谱领域以及AI领域(大模型-GPT-应用落地)，平时会在公众号不定期发布一些技术类和实践类的文章，欢
迎关注，一起进步一起成长~

引用
  • https://arxiv.org/pdf/2307.13923
  • https://github.com/FreedomIntelligence/GrammarGPT
  • https://huggingface.co/bigscience/bloom
  • https://github.com/yizhongw/self-instruct
  • https://github.com/FreedomIntelligence/LLMZoo
Johntill
关注
  • 1
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
中文拼写纠错_中英文拼写纠错开源框架梳理
weixin_39895684的博客
12-18 482
一、中文：1、Pycorrector：https://github.com/shibing624/pycorrector当前主流的中文纠错框架，支持规则和端到端模型 2、FASPell：https://github.com/iqiyi/FASPell/blob/master论文：https://www.aclweb.org/anthology/D19-5522.pdf使用bert进行预训练+微调...
基于ChatGPT完美替代 Grammarly润色和语法纠错的免费插件！
AI蜗牛车
04-10 2011
OpenAI Polisher Bob Plugin简介ChatGPT 向我们展示了 GPT 模型的伟大之处，所以我使用 ChatGPT 的 API 实现了这个用来给语言润色和语法纠错的 Bob 插件，效果拔群！完美替代 Grammarly!使用截图使用方法安装 Bob (版本 >= 0.50)下载此插件: openai-polisher.bobplugin安装此插件:去 OpenAI 获取...
港中文 & 苏大发布中文语法纠错大模型GrammarGPT | 仅用1K数据进行指令微调即可达到SOTA性能！
专注计算机视觉全栈知识分享
08-13 461
首先通过从互联网收集的线索来引导ChatGPT生成带有线索的不符合语法的句子，然后对从互联网收集的没有线索的不符合语法的句子进行标注。此外，本文还提出了一种错误不变的增强技术，用相似的命名实体替换并行数据中的命名实体，进一步增强模型纠正母语中文语法错误的能力。文中表明，对于用LLMs构建垂直领域的应用中，高质量的训练数据，数据构建的技巧，和构建何种类型的数据显得如此重要。过去的研究主要关注外国中文学习者产生的明显和幼稚的语法错误，而最近的工作则转向由母语者产生的更为微妙和具有挑战性的语法错误。
Ollama| 搭建本地大模型，最简单的方法！效果直逼GPT
最新发布
python1222_的博客
05-25 2266
开源免费：Ollama是一个不收费的开源工具。即插即用：它提供了预装好的大模型，免除了复杂的安装和下载流程。用户友好：即便没有任何技术背景，Ollama也易于上手和使用。跨平台兼容性：Ollama支持各种设备，包括PC、Mac甚至是树莓派。运行各种规模的模型，保证了出色的扩展性。
[自然语言处理] 基于pycorrector实现文本纠错
You and Me
09-24 3556
pycorrector通过加载自定义混淆集，支持用户纠正已知的错误，实际就是字符串替换。
2020 年 中英文拼写纠错开源框架梳理
tcd1112的博客
07-09 1724
一、中文： 1、Pycorrector：https://github.com/shibing624/pycorrector 当前主流的中文纠错框架，支持规则和端到端模型 2、FASPell：https://github.com/iqiyi/FASPell/blob/master 论文：https://www.aclweb.org/anthology/D19-5522.pdf 使用bert进行预训练+微调，再经过CSD过滤器得到最终结果。支持简体中文文本； 繁体中文文本； 人类论文； OCR结果等 3
中文文本纠错(Chinese Spell Checking, CSC)任务各个论文的评价指标
iioSnail的博客
02-18 2339
本文汇总了中文文本纠错(Chinese Spell Checking)任务在各个开源项目中的评价指标，他们虽然写法不同，但大部分本质是相同的，但也有少部分论文的评价指标存在问题或其他论文不一致，本文对他们的指标代码进行了分析，并说明了其中的问题。
231112-中文错别字识别与纠正问题的大模型与小模型调研
专注机器学习之路
11-12 3036
中文错别字识别与纠正问题的大模型与小模型调研
LLMs-入门四：基于LLaMA-Efficient-Tuning对LLMs做微调
10-07
json
ChatGLM3 series: Open Bilingual Chat LLMs - 开源双语对话语言模型
02-06
在开源双语对话这一特性上，ChatGLM3支持两种或更多语言的交互，比如英语和中文。这使得用户可以通过同一个模型进行多语言间的无缝转换，极大地提升了跨文化沟通的效率。这种能力的实现依赖于大量的双语语料库，通过...
大语言模型量化-对LLMs进行量化以进行搞笑Finetuning微调-附项目源码-优质项目分享.zip
05-11
在这个名为“大语言模型量化_对LLMs进行量化以进行搞笑Finetuning微调”的项目中，开发者专注于对大型语言模型进行量化后进行finetuning（微调）。Finetuning是将预训练模型应用于特定任务的训练过程，通过在目标...
JARVIS：基于LLM控制万种API的架构
05-29
Language serves as an interface for LLMs to connect numerous AI models for solving complicated AI tasks! See our paper: [HuggingGPT: Solving AI Tasks with ChatGPT and its Friends in HuggingFace]...
【GPT】文本生成任务（生成摘要、文本纠错、机器翻译等的模型微调）
发现问题，并解决问题，批判性思维
04-25 5548
note 文章目录note一、NLG任务二、NLG之文本摘要2.1 基于mT5的文本摘要2.2 基于openai接口测试2.3 基于chatGPT接口三、根据自己的数据集进行模型微调四、文本纠错任务五、机器翻译任务Reference 一、NLG任务 NLG：自然语言生成任务，很多NLP任务可以被描述为NLG任务，如经典的T5模型（text to text transfer transformer模型）就是NLG模型，如文本纠错任务，输出正确的文本描述、智能问答根据一定背景进行推理，然后回答。 # 安装一些必
大语言模型的纠错与语义矫正技术
AI架构设计之禅
03-23 964
非常感谢您的委托,我会尽力撰写一篇专业、深入且实用的技术博客文章。让我们开始吧! 大语言模型的纠错与语义矫正技术 1. 背景介绍 近年来,随着人工智能技术的快速发展,大语言模型(Large Language Models, LLMs)在自然语言处理领域取得了巨大的成功。这些强大
Python：使用pycorrector处理错字、纠正
we chat：玩转测试开发
02-18 4739
pycorrector是一个开源的中文文本纠错工具。支持中文音似、形似、语法错误纠正，python3开发。pycorrector实现了Kenlm、ConvSeq2Seq、BERT、MacBERT、ELECTRA、ERNIE、Transformer等多种模型的文本纠错，并在SigHAN数据集评估各模型的效果。更多使用技巧详见官方文档。
万字长文：LLM能力与应用全解析
奇华资料的博客
03-07 672
经过几年时间的发展，大语言模型（LLM）已经从新兴技术发展为主流技术。而以大模型为核心技术的产品将迎来全新迭代。大模型除了聊天机器人应用外，能否在其他领域产生应用价值？在回答这个问题前，需要弄清大模型的核心能力在哪？与这些核心能力关联的应用有哪些？1、LLM能力解析2、LLM技术分析3、LLM案例实践。
pip install自己的代码_PyCorrector文本纠错工具实践和代码详解
weixin_39892311的博客
10-30 1930
PyCorrector文本纠错工具代码详解1. 简介 中文文本纠错工具。音似、形似错字（或变体字）纠正，可用于中文拼音、笔画输入法的错误纠正。python3.6开发。pycorrector依据语言模型检测错别字位置，通过拼音音似特征、笔画五笔编辑距离特征及语言模型困惑度特征纠正错别字。1.1 在线Demohttps://www.borntowin.cn/product/corrector1.2 Q...
CCL2022 中文语法纠错评测
zenRRan的博客
05-17 3697
每天给你送来NLP技术干货！中文语法纠错任务（Chinese Grammatical Error Correction，CGEC）旨在自动检测并修改中文文本中的标点、拼写、语法、语义等错误，从而获得符合原意的正确句子。近年来，中文语法纠错任务越来越受到关注，也出现了一些有潜在商业价值的应用。为了推动这项研究的发展，研究者通过专家标注以及众包等形式构建一定规模的训练和测试数...
ImportError: cannot import name 'ChatGLM' from 'langchain.llms'
11-30
该错误通常表示在导入名为'ChatGLM'的模块时出现问题。可能的原因是该模块未正确安装或未正确导入。以下是一些可能的解决方案： 1.检查是否正确安装了'langchain.llms'模块。可以使用pip命令重新安装该模块，例如：`pip install langchain.llms`。 2.检查是否正确导入了'ChatGLM'模块。确保在代码中正确导入该模块，例如：`from langchain.llms import ChatGLM`。 3.检查是否存在名称冲突。如果存在其他同名的模块或变量，可能会导致该错误。可以尝试更改名称以避免冲突。 ```python # 示例代码 from langchain.llms import ChatGLM # 进行相关操作 ... ```
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值