语法纠错GECToR | 使用指南

最新推荐文章于 2024-08-09 08:02:07 发布
最新推荐文章于 2024-08-09 08:02:07 发布
阅读量2.5k 收藏 11
点赞数 3
分类专栏： 深度学习NLP方向 文章标签： gector 语法纠错
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Andrwin/article/details/115330591
版权
本文介绍了GECToR的环境配置，包括BERT、RoBERTa和XLNet的预训练权重下载。通过代码示例展示了如何安装依赖，并提醒了model_path需设置为绝对路径以避免缓慢的在线下载。同时提到了一些测试资源，如博主的讲解和免费的语法纠错网站。文章最后列出了GECToR相关的数据集链接。
摘要由CSDN通过智能技术生成

训练那块我还没看懂，写的花里呼稍的

一、环境配置

官方代码 https://github.com/grammarly/gector

BERT 预训练权重 https://grammarly-nlp-data-public.s3.amazonaws.com/gector/bert_0_gector.th

RoBERTa 预训练权重  https://grammarly-nlp-data-public.s3.amazonaws.com/gector/roberta_1_gector.th

XLNet 预训练权重 https://grammarly-nlp-data-public.s3.amazonaws.com/gector/xlnet_0_gector.th

亲测可以用百度云离线下载

使用代码里面的requirements安装依赖，如果报错就把pytorch换成1.5.0

二、测试

一个中文的博主简单讲了一下GECToR http://fancyerii.github.io/2020/06/15/gector/

最低0.47元/天 解锁文章
訢詡
关注
专栏目录
Text2SQL中反思纠错的实战方案
herosunly的博客
06-29 8万+
本文主要介绍了Text2SQL中反思纠错的实战方案，希望对学习大语言模型的同学们有所帮助。 文章目录 1. 前言 2. 反思纠错的实战方案
gector:“ GECToR –语法错误校正”论文的正式实施
03-20
GECToR –语法错误纠正：标记，不重写 该存储库提供以下代码的正式PyTorch实施，用于训练和测试语法错误纠正的最新模型的代码： ， ， ， 文法 它主要基于AllenNLP和transformers 。 安装 以下命令将安装所有必需的软件包： pip install -r requirements.txt 该项目已使用Python 3.7进行了测试。 数据集 本文中使用的所有公共GEC数据集都可以从下载。综合创建的数据集可在生成/下载。要训​​练模型数据，必须对其进行预处理，并使用以下命令将其转换为特殊格式： python utils/preprocess_data.py -s SOURCE -t TARGET -o OUTPUT_FILE 预训练模型 预编码器 置信偏差 最小错误概率 CoNNL-2014（测试） BEA-2019（测试） BERT 0.10
GECToR–Grammatical Error Correction: Tag, Not Rewrite翻译
nopSled
12-05 2009
摘要 在本文中，我们提出了仅使用Transformer编码器的简单有效的GEC序列标注器。我们的系统在综合数据上进行了预训练，然后分两个阶段进行了微调：首先是错误的语料库，其次是有错误和无错误的平行语料库的组合。我们设计了自定义的字符级别转换，以将输入字符映射到纠正后的目标。我们最好的单模型以及联合模型GEC标注器分别在CoNLL-2014测试集上F0.5达到65.3和66.5，在BEA-2019上F0.5达到72.4和73.6。模型的推理速度是基于Transformer的seq2seq GEC系统的10倍
GECToR 开源项目安装与使用指南
gitblog_00671的博客
08-09 798
GECToR 开源项目安装与使用指南 gectorOfficial implementation of the papers "GECToR – Grammatical Error Correction: Tag, Not Rewrite" (BEA-20) and "Text Simplification by Tagging" (BEA-21)项目地址:https://gitcode.com...
中文文本纠错论文
jiangchao98的博客
04-11 2825
PLOME: Pre-training with Misspelled Knowledge for Chinese Spelling Correction 论文地址：https://aclanthology.org/2021.acl-long.233.pdf 仓库地址：https://github.com/liushulinle/PLOME 使用困惑集中相似单词遮盖选择的单词 通过使用拼音来预测单词 使用GRU网络根据字符的语音和笔划对这些知识进行建模 中文错误（近音字、近形字） 使用拼音以及笔
日语纠错问题 拼写纠错
Lmoermo的博客
09-01 552
目前在做日语纠错任务，主要是为了解决公司query召回率低的问题，目前可行的方案有下面几个： 一个是科大讯飞的那个gector模型 ，他主要是利用了bert或者Robert来做特征提取，然后会在最后接上两个全链接网络，分别用来输出每个日语单词纠正的对象可他们本身错误的概率值信息，通过对他们的结果分别求得一个loss值来进行反向梯度传递，不断进行训练以此达到最优值，其中错误数据的是我通过罗马音和编辑距离为一的一些词进行随机的替换构成的，以此来模仿真实地错误数据。未完待续。。 另外一个就是根据Be...
**CIEC-CTC 2021: 开启中文文本纠错的新篇章**
gitblog_00047的博客
06-22 530
CIEC-CTC 2021: 开启中文文本纠错的新篇章 项目地址:https://gitcode.com/destwang/CTC2021 在这个数字化时代，精确无误的文字不仅是沟通的关键，也是专业性和权威性的象征。尤其在法律领域，一字之差可能导致截然不同的判决结果。为此，CIEC-CTC 2021项目应运而生，致力于解决中文文本中的各类纠错难题，力求达到机器智能文本校对的新高度。让我们一探究竟，...
拼写纠错（Spelling Correct）技术方案总结
Lmoermo的博客
09-03 1769
1 纠错基础知识 1.1 常见错误类型 1.2 纠错组成模块 2 深度学习技术 2.1 FASPell（爱奇艺） 2.1.1 技术方案 2.1.1.1 背景 2.1.1.2 模型结构 2.1.1.3 训练过程 2.1.2 优点和缺点 2.2 SpellGCN （阿里） 2.2.1 技术方案 2.2.1.1 背景 2.2.1.2 模型结构 2.2.1.3 训练过程 2.2
文本语法纠错不完全调研：学术界 v.s. 工业界最新研究进展
Paper weekly
07-24 2825
©作者|岳天驰单位|腾讯研究方向|自然语言处理背景由于用户在文本输入法，语音输入法使用上的随意性，后续又缺少审核，极易产生语法错误内容。近年来随着自媒体的热潮，人人都是信息的...
【Rust 指南】详解Rust所有权的语法机制 | 理解其独特的内存管理原理
微凉秋意的博客
08-21 1804
所有权对大多数开发者而言是一个新颖的概念，它是 Rust 语言为高效使用内存而设计的语法机制。所有权概念是为了让 Rust 在编译阶段更有效地分析内存资源的有用性以实现内存管理而诞生的概念。
探索高效语法纠错新境界：GECToR
最新发布
gitblog_00571的博客
08-09 580
探索高效语法纠错新境界：GECToR gectorOfficial implementation of the papers "GECToR – Grammatical Error Correction: Tag, Not Rewrite" (BEA-20) and "Text Simplification by Tagging" (BEA-21)项目地址:https://gitcode.com...
《GECToR -- Grammatical Error Correction: Tag, Not Rewrite》论文笔记
qq_42890800的博客
01-17 1834
文章目录解决的问题这篇论文的思想Token-level transformationsTagging model architectureIterative sequence tagging approach实验训练Encoders from pretrained transformersTweaking the inferenceSpeed comparisons结论 解决的问题 NMT-based GEC系统有如下几个问题妨碍了部署： 缓慢的推理速度 需要大量的训练数据 可解释性 在这篇论文中，通过
探索Gector：提升文本生成质量的新工具
gitblog_00060的博客
04-25 316
探索Gector：提升文本生成质量的新工具 gectorOfficial implementation of the papers "GECToR – Grammatical Error Correction: Tag, Not Rewrite" (BEA-20) and "Text Simplification by Tagging" (BEA-21)项目地址:https://gitcode....
GECToR 语法错误校正工具使用教程
gitblog_00570的博客
08-09 645
GECToR 语法错误校正工具使用教程 gectorOfficial implementation of the papers "GECToR – Grammatical Error Correction: Tag, Not Rewrite" (BEA-20) and "Text Simplification by Tagging" (BEA-21)项目地址:https://gitcode.co...
NLP实践！文本语法纠错模型实战，搭建你的贴身语法修改小助手 ⛵
热门推荐
ShowMeAI研究中心
11-28 1万+
本文详细介绍 GECToR 这一优秀的文本纠错模型，使用 Transformer 编码器的序列标注器，以保证文本数据的质量，进而提升NLP模型的效果。
预训练模型参数的操作-pytorch
m0_51977577的博客
07-11 1050
预训练模型参数的操作
这个英文语法校正插件很赞！可以校正邮件，也可以校正论文
悟道西方
05-26 425
英语写作必不可少，常由于写得快、缺少检查、语法不甚熟悉，总是会出一些问题。总是求人帮助修改也不是办法，老被导师挑出错误也不像话。这里推荐一款软件Grammarly (https://app...
Vue中使用JSX语法实战与比较
"在Vue中使用JSX语法的实践与理解" 在Vue.js框架中，开发者通常使用模板语法来构建用户界面，但有时为了与其他框架（如React）保持一致性或在特定复杂场景下提高灵活性，可能会选择使用JSX（JavaScript XML）。本篇...
评论 14
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值