错别字分析——自建错词库

最新推荐文章于 2023-10-31 10:50:47 发布
最新推荐文章于 2023-10-31 10:50:47 发布
阅读量5.9k 收藏 1
点赞数
分类专栏： NLP 文章标签： 库 nlp 错词库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qwsqwa/article/details/42524769
版权

        前几天帮师兄弄一个错词库，网上找了半天都没有，就自己动手浏览各大论坛、贴吧，自己鼓捣了一个极少的错词库，相对十分简陋，共200+的错词，分成两个txt文档，有需要的可以拿来下载使用。

文件格式：错误-正确\t[错误]例句\t[正确]例句\n

例子：结帐-结账 喝的差不多了人家来[结帐]喝的差不多了人家来[结账]

传送门：https://github.com/Rrbsmoy/NLP/tree/master/Typos_Analysis/WrongWords

ArthurYang
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
错别字检测Windows 10客户端
11-28
https://zhuanlan.zhihu.com/p/50742886 JCJC错别字检测Windows客户端，Download 下载链接 ：https://share.weiyun.com/5DUoLOV ( 腾讯QQ微云分享 ) 这是一个绿色的版本，对系统要求如下： Windows 10 系统；系统中需要安装　Office 2013或以上版本；需要安装微软 .net framework 4.6 或以上版本；
1千多错别字选择题ACCESS数据库
11-12
根据给出的成语或词中的空格选择正确的汉字。
常见错别字表
01-17
常见错别字表 常见错别字表常见错别字表常见错别字表常见错别字表
自然语言处理-错字识别（基于Python）kenlm、pycorrector
IT届的小学生
11-15 1万+
中文文本纠错划分 中文文本纠错任务，常见错误类型包括： 谐音字词，如 配副眼睛-配副眼镜 混淆音字词，如 流浪织女-牛郎织女 字词顺序颠倒，如 伍迪艾伦-艾伦伍迪 字词补全，如爱有天意-假如爱有天意 形似字错误，如 高梁-高粱 中文拼音全拼，如 xingfu-幸福 中文拼音缩写，如 sz-深圳 语法错误，如想象难以-难以想象 当然，针对不同业务场景，这些问题并不一定全部存在，比如输入法中需要处...
关于搜狗输入法如何导入本地词库（超详细版）
热门推荐
m0_64909741的博客
03-24 1万+
一、打开电脑记事本并输入自己需要导入的文本## ps:要分行错开或者词与词之间空两格 二、保存记事本文件，一定要更改文件编码类型，编码类型选择ANSI,否则导入搜狗输入法的是一串乱码，之后修改玩文件名保存即可 三、右击搜狗输入法的图标，跳出菜单后选择更多设置四、选择词库，再选择中文词库中的导入/恢复选项 五、文件类型选择:文本词库文件（*.txt）选择刚刚保存的txt文件导入即可 六、等待一段时间会有导入成功提示 ...
中文拼写纠错_[NLP]中文拼写检纠错
weixin_39709262的博客
12-18 247
一.基于统计语言模型的中文拼写纠错1.流程图2.实验结果局部方法的实验结果：全局方法的实验结果：3.初步结论缺点：a.SLM对训练语料的规模和质量敏感。b.错词检测策略灵活，变化较多。单纯的局部⽅法和全局方法都应该不是一个⾮常合理的方案。c.检错准确率较低，全局⽅法的评估受错词阈值影响大。优点：a.训练速度和推断速度快，模型部署容易。思考：a.虽然在测试集上的准确率较低，但是从附录的测试来看，检测...
Python 如何检测敏感词汇
梦在硅谷的博客
02-14 2892
设计思路：根据敏感词库文件筛选，查看输入的文本中是否包含敏感词汇。从而过滤出相关的敏感词。 【阅读全文】 导入应用相关的模块。 import os import logging import sys 导入UI界面相关的模块。 from PyQt5.QtWidgets import QApplication,QWidget,QVBoxLayout,QTextEdit,QGridLayout,QLineEdit,QPushButton,QFileDialog from PyQt5.QtGui import Q.
Java判断文本是否有敏感词
最新发布
weixin_64811434的博客
10-31 1001
Java判断文本是否有敏感词
敏感词高效检测从浅到深
六道有言的博客
06-30 2485
精选30+云产品，助力企业轻松上云！>>> 目...
python小玩意——敏感词汇检测
zouxun660的博客
08-25 2809
python小玩意
错别字检查客户端（开源）
11-24
错别字检查客户端（开源）
JCJC错别字识别软件客户端下载
07-26
JCJC错别字识别软件客户端 到2020年10月份，JCJC错别字检测服务上线就四周年了。 这个版本实现了基本的错别字检测功能： 1）增加错别字检测的参数可选项目 2）增加 Word ，Excel ，PPT 等常用文档格式 3） 增加网页...
常见错别字汇总
03-18
常见错别字汇总
【JDBC】学习笔记__案例
qq_41440031的博客
02-25 2983
JDBC入门 JDBC功能类详解 JDBC案例 JDBC工具类 JDBCSQL注入攻击 JDBC事务 JDBC入门 概念：是一种用于执行java语句的API 本质：一套帮助开发人员实现不同关系型数据库链接的规范（接口） 1、程序案例： 导入jar包 注册驱动 获取数据库连接（已经提前准备好一个案例数据库） 获取执行者对象 执行sql语句返回结果 处理结果 释放资源 总结：首先注册驱动，然后获得一个数据库连接的对象connection，通过使用该对象获得一个执行者对象...
5、Hive数据仓库——Hive分区及动态分区
hujieliang123的博客
02-20 4659
Hive数据仓库——Hive分区及动态分区
Qt/C++数据库应用12-通用数据库清理
Qt/C++视频监控/推流/物联网/大屏系统/自定义控件/UI定制/输入法
02-23 1304
一、前言 很多项目如果需要存储很多日志记录比如运行日志，时间长了记录数量非常多，数据库体积不断增大，对应数据库表的增删改查的效率不断降低，为了消除这几个影响，需要有一套机制，不断将早期的数据清理，清理的规则比如可以指定表名、字段名、时间范围等。 日志记录的清理一方面是为了保证查询效率，毕竟数据量大了明显影响查询速度，一方面也是为了节约磁盘存储空间，毕竟存储空间有限，尤其是嵌入式板子，容量一般不会很大，记录无限制的存储下去会不断增加磁盘空间的占用。 除了数据库记录的清理以外，还有个场景是文件的清理，比如视频监
MySQL别再 select * 了这里有 12 个查询技巧
qq_32421489的博客
02-23 3832
应用程序慢如牛，原因多多，可能是网络的原因、可能是系统架构的原因，还有可能是数据库的原因。 那么如何提高数据库SQL语句执行速度呢？有人会说性能调优是数据库管理员（DBA）的事，然而性能调优跟程序员们也有莫大的关系。 程序中嵌入的一行行的SQL语句，如果使用了一些优化小技巧，定能达到事半功倍的效果。 技巧1 比较运算符能用 “=”就不用“<>” “=”增加了索引的使用几率。 技巧2 明知只有一条查询结果，那请使用 “LIMIT 1” “LIMIT 1”可以避免全表扫描，找到对..
“最受欢迎”男友职业排名，程序员位居前三，公务员被嫌弃了？
cxyITgc的博客
02-21 6785
“最受欢迎”男友职业排名，程序员位居前三，公务员被嫌弃了？
这可能是冬奥会藏得最深的黑科技了
量子位
02-18 1363
鱼羊 明敏发自 凹非寺量子位 | 公众号 QbitAI大家好，我们又来蹭冬奥会热度了（手动狗头）。毕竟啊，这届冬奥不仅赛事精彩，背后频频曝出的黑科技也让人应接不暇填满了选题小黑板。从开幕...
如何实现查找错别字功能
07-20
要实现中文错别字的查找功能，你可以使用中文分词工具和中文拼音库来帮助判断词语是否拼写正确。下面是一个基于Python的示例代码： ```python import jieba from pypinyin import pinyin, Style def find_misspelled_words(text): # 使用结巴分词将文本切分成词语 words = jieba.cut(text) errors = [] for word in words: # 获取每个词语的拼音 pinyin_list = pinyin(word, style=Style.NORMAL, heteronym=False) pinyin_str = ''.join([p[0] for p in pinyin_list]) # 如果拼音和原词语不同，则认为是错别字 if pinyin_str != word: errors.append((word, pinyin_str)) return errors # 输入要检查的文本 text = "我爱中国，中文是一门很棒的语言。" # 查找错别字 errors = find_misspelled_words(text) # 打印错别字 for error in errors: print(f"错别字：{error[0]}，拼音：{error[1]}") ``` 这段代码使用了结巴分词库 `jieba` 来将文本切分成词语，然后使用 `pypinyin` 库获取每个词语的拼音。如果词语的拼音和原词语不同，则认为是错别字。请确保你已经安装了这两个库，可以使用以下命令进行安装： ``` pip install jieba pip install pypinyin ``` 以上示例代码仅供参考，具体的实现方式还取决于你的需求和文本的特点。你可以根据实际情况进行调整和优化。 希望对你有所帮助！如果还有其他问题，请随时提问。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值