开源最强的拼写纠错大模型

已于 2025-01-14 12:06:14 修改
阅读量1.3k 收藏 7
点赞数 12
文章标签： 自然语言处理 python
于 2025-01-13 13:51:35 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43765734/article/details/145114364
版权

项目地址：GitHub - TW-NLP/ChineseErrorCorrector: 中文拼写错误和语法错误纠正

数据集

CTC（拼写纠错数据集）

数据集名称 数据链接 数据量和类别说明 描述
CTC（拼写纠错数据集） 后面整理开源 W271K：279,816 条，Medical：39,303 条，Lemon：22,259 条，ECSpell：6,688 条，CSCD：35,001 条 用于中文拼写纠错的多类别大规模数据集

该数据集包含了来自不同领域的大量中文文本，适用于拼写错误的纠正任务，能够帮助模型学习到丰富的拼写错误类型。

评估结果

评估使用 F1 值指标进行，以下是部分模型的评估结果：

Model Name Model Link Base Model Avg SIGHAN-2015 EC-LAW EC-MED EC-ODW
twnlp/ChineseErrorCorrector-7B
最低0.47元/天 解锁文章
TW-NLP
关注
Transformer大模型实战 汉语的BERT模型
AI大模型应用之禅
01-17 929
Transformer, BERT, 自然语言处理, 预训练模型, 中文文本理解, 语言模型 1. 背景介绍 近年来，深度学习在自然语言处理 (NLP) 领域取得了突破性进展。其中，Transformer 架构的出现标志着 NLP 领域进入了一个新的时代。Transformer 凭借
自然语言处理实战项目15-四种文本纠错模型的对比与实践，解决大家写作问题
微学AI的博客
08-14 1932
大家好，我是微学AI，进入给大家介绍一下自然语言处理15-四种文本纠错模型的对比与实践，解决大家写作问题。文本纠错模型是一个旨在解决大家写作问题的实践项目。它基于先进的自然语言处理技术，特别是文本纠错领域的模型和算法，能够帮助用户快速、准确地纠正文本中的拼写错误、语法错误和其他常见的书写问题。
中文文本纠错算法走到多远了？
素质云笔记
02-01 2万+
纠错是从互联网起始时就在一直解决的问题，但是一直作为一些重要技术的辅助、附属功能而默默无闻，譬如搜索引擎、譬如火热的智能写作等。 中文文本纠错任务，常见错误类型包括： 谐音字词，如 配副眼睛-配副眼镜 混淆音字词，如 流浪织女-牛郎织女 字词顺序颠倒，如 伍迪艾伦-艾伦伍迪 字词补全，如 爱有天意-假如爱有天意 形似字错误，如 高梁-高粱 中文拼音全拼，如 xingfu-幸福 中文拼音缩写，...
ChineseErrorCorrector发布量化版本大模型，推理显存仅占用6G！
最新发布
qq_43765734的博客
03-12 464
是一个强大的中文拼写和语法纠错工具，开箱即用，后面会不断的跟进前沿的纠错方法和数据，不断更新开源模型。
NLP实践！文本语法纠错模型实战，搭建你的贴身语法修改小助手 ⛵
ShowMeAI研究中心
11-28 1万+
本文详细介绍 GECToR 这一优秀的文本纠错模型，使用 Transformer 编码器的序列标注器，以保证文本数据的质量，进而提升NLP模型的效果。
BertBasedCorrectionModels：基于BERT的文本纠错模型
gitblog_00016的博客
03-28 842
BertBasedCorrectionModels：基于BERT的文本纠错模型 BertBasedCorrectionModels项目地址:https://gitcode.com/gh_mirrors/be/BertBasedCorrectionModels 该项目[1]是一个创新的自然语言处理工具，利用先进的BERT（Bidirectional Encoder Representations ...
文本纠错--CRASpell模型
weixin_42223207的博客
06-05 3859
文本纠错
231112-中文错别字识别与纠正问题的大模型与小模型调研
专注机器学习之路
11-12 5334
中文错别字识别与纠正问题的大模型与小模型调研
最强开源大模型面世：阿里发布Qwen2
OneFlow深度学习框架
06-07 5055
今天凌晨，阿里巴巴通义千问团队发布了Qwen2系列开源模型。该系列模型包括5个尺寸的预训练和指令微调模型：Qwen2-0.5B、Qwen2-1.5B、Qwen2-7B、Qwen2-57B-A14B以及Qwen2-72B。随即，硅基流动团队在云服务平台SiliconCloud上线了Qwen2-7B、Qwen2-57B-A14B、Qwen2-72B模型。欢迎来玩儿：https://cloud.sili...
大模型——CogView4：生成中英双语高清图片的开源文生图模型综合介绍
03-04 3783
CogView4 是由清华大学 KEG 实验室（THUDM）开发的一款开源文生图模型，专注于将文本描述转化为高质量图像。它支持中英双语提示词输入，尤其擅长理解中文提示并生成带有汉字的图像，非常适合广告设计、短视频创作等场景。作为首个支持在画面中生成汉字的开源模型，CogView4 在复杂语义对齐和指令跟随能力上表现出色。它基于 GLM-4-9B 文本编码器，支持任意长度的提示词输入，并能生成高达 2048 分辨率的图像。
开源大语言模型排名，排名基于国外最公允的大模型排行榜
whisperzzza的博客
11-19 2051
大模型本身的能力横评主要通过基准测试和人类评估两种方式进行。基准测试，或称“考试模式”，其核心思路是通过一系列固定的问题来评估模型的性能，这些问题覆盖了数学、常识、逻辑推理等多个领域。常见的基准测试包括GSM-8K（侧重于基础算术能力）、MMLU（多任务多语言理解，测试广泛的知识面）、TheoremQA（专注于定理证明相关的数学问题）以及GPQA（广域问题回答，检验模型在不同领域的知识深度）。
SIGHAN中文纠错数据集及转换后格式.zip
10-19
SIGHAN中文纠错数据集及转换后格式.zip
text error correction文本纠错数据集
10-16
SIGHAN+Wang271K中文纠错数据集(27万条)，是通过原始SIGHAN13、14、15年数据集和Wang271K数据集格式转化后得到，json格式，带错误字符位置信息，SIGHAN为test.json， macbert4csc模型训练可以直接用该数据集复现paper准召结果，详见pycorrector/macbert/README.md。 NLPCC 2018 GEC官方数据集NLPCC2018-GEC， 训练集trainingdata[解压后114.5MB]，该数据格式是原始文本，未做切词处理。 汉语水平考试（HSK）和lang8原始平行语料[HSK+Lang8]百度网盘（密码n31j），该数据集已经切词，可用作数据扩增。 NLPCC 2018 + HSK + CGED16、17、18的数据，经过以字切分，繁体转简体，打乱数据顺序的预处理后，生成用于纠错的熟语料(nlpcc2018+hsk) ，百度网盘（密码:m6fg） [130万对句子，215MB] https://github.com/shibing624/pycorrector
中文文本纠错数据集.zip
07-27
https://blog.csdn.net/kobeyu652453/article/details/106905191 该篇博文所用词库。如何用请参考博文
总结目前开源的视频生成/视频编辑大模型
沉迷单车的追风少年
05-16 2294
随着Sora的爆火，视频生成和视频编辑受到了越来越多的关注。这篇博客总结一下目前开源的视频生成和视频编辑的大模型，并分析他们各自的优缺点，以及在自己进行科研任务或者工作中应该如何选用对应的开源模型，希望能给从事这一领域研究和使用的小伙伴们帮助。
大模型后处理之提取Json结构数据的实战代码
热门推荐
herosunly的博客
12-20 8万+
本文主要介绍了大模型后处理之提取Json结构数据的实战代码，希望对使用大语言模型的同学们有所帮助。 文章目录 1. 前言 2. 实战代码
pycorrector: 开源文本纠错工具详解与应用指南
gitblog_00003的博客
08-08 1992
pycorrector: 开源文本纠错工具详解与应用指南 pycorrectorpycorrector is a toolkit for text error correction. 文本纠错，实现了Kenlm，T5，MacBERT，ChatGLM3，LLaMA等模型应用在纠错场景，开箱即用。项目地址:https://gitcode.com/gh_mirrors/py/pycorrector 一...
PyCorrector——中文语言纠错模型 文本纠错工具
Lmoermo的博客
08-28 2065
谐音字词，如配副眼睛-配副眼镜 混淆音字词，如流浪织女-牛郎织女 字词顺序颠倒，如伍迪艾伦-艾伦伍迪 字词补全，如爱有天意-假如爱有天意 形似字错误，如高梁-高粱 中文拼音全拼，如xingfu-幸福 中文拼音缩写，如sz-深圳 语法错误，如想象难以-难以想象 1.use kenlm 1.1 kenlm打分 1.2 分词 1.3 （2或3_gram）打分 1.4 numpy矩阵处理 2.编辑距离 3.pandas use pycorrector 错误检测 ...
中文(语音结果)的文本纠错综述 Chinese Spelling Check
TangowL
09-24 1万+
中文的文本纠错，应用场景很多，诸如输入法纠错、输入预测、ASR 后纠错等等。这边简单梳理下对于这个任务的调研结果。
开源与大模型对比：ChatGLM与百度千帆等整理
本文档主要介绍了智能AI领域的开源模型与大模型接口，旨在帮助开发者更好地理解和利用这些资源。文章首先明确了两大类模型：开源模型和大模型接口。 1. 开源模型：这部分详细列举了8个开源模型，包括ChatGLM、...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值