自然语言处理系统NLP之拼写纠错

最新推荐文章于 2022-01-10 18:20:27 发布
最新推荐文章于 2022-01-10 18:20:27 发布
阅读量1.6k 收藏 1
点赞数 2
分类专栏： AI内幕之NLP+盘古深度学习框架+机器学习+Alluxio
热烈祝贺王家林大咖2020年清华大学两本新书《SPARK大数据商业实战三部曲第二版》、《企业级AI技术内幕：深度学习框架开发+机器学习案例实战+Alluxio解密》出版发行
本文链接：https://blog.csdn.net/duan_zhihua/article/details/109248859
版权

自然语言处理系统NLP之拼写纠错

文章目录

英文拼写纠错

英文拼写纠错按照类型不同，分为Non-word Errors和Real-word Errors。Non-word Errors指拼错的单词，如将“giraffe”写成“graffe”；Real-word Errors指单词误写为其他的单词，如将“there”错误拼写为“three”（形近），将“peace”误拼为“piece”（同音），将“two”错误拼写为“too”（同音）。
英文拼写纠错步骤如下：

  • 构建词汇表vocab.txt
'
'd
'flight
'll
're
's
've
,
--
.
.......
了解本专栏 订阅专栏 解锁全文 超级会员免费看
段智华
关注
  • 2
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
面向微博文本的情绪标注语料库构建
02-22
文本情绪分析研究近年来发展迅速，但相关的中文情绪语料库，特别是面向微博文本的语料库构建尚不完善。为了对微博文本情绪表达特点进行分析以及对情绪分析算法性能进行评估，该文在对微博文本情绪表达特点进行深入观察和分析的基础上，设计了一套完整的情绪标注规范。遵循这一规范，首先对微博文本进行了微博级情绪标注，对微博是否包含情绪及有情绪微博所包含的情绪类别进行多标签标注。而后，对微博中的句子进行有无情绪及情绪类别进行标注，并标注了各情绪类别对应的强度。目前，已完成１４　０００条微博，４５　４３１句子的情绪标注语料库构建。应用该语料库组织了ＮＬＰ＆ＣＣ２０１３中文微博情绪分析评测，有力地促进了微博情绪分析相关研究。
中文事件相关性语料库构建及识别方法1
08-03
摘要：事件往往围绕主题展开，相互间存在相关性。在大数据时代，从海量信息中筛选出和某个主题相关的事件，有助于信息抽取、文本摘要、文本生成等自然语言处理任务。本文首
利用Python构建Wiki中文语料词向量模型
12-29
利用Python构建Wiki中文语料词向量模型
ChatGPT技术的语料库构建方法探究.docx
08-24
ChatGPT技术的使用教程、使用方法、使用技巧、使用注意事项、使用中常见问题
【自然语言处理】拼写纠错
孟知之的搬砖填坑历险记
02-07 467
利用编辑距离生成给定输入的候选集合 # 词典库 vocab = set([line.rstrip() for line in open('vocab.txt')]) # 需要生成所有候选集合 def generate_candidates(word): """ word: 给定的输入（错误的输入） 返回所有(valid)候选集合 """ # 生成编辑距离...
NLP项目（二）——拼写纠错
艰难困苦，玉汝于成。
01-10 1970
目录前言一、数据集介绍1-1、spell-errors.txt1-2、vocab.txt1-3、testdata.txt二、拼写纠错代码总结 前言 在自然语言处理的过程中，我们常常会遇到一些拼写错误的单词，这时候我们需要用到拼写纠错来处理这些单词。 一、数据集介绍 1-1、spell-errors.txt # 该数据集包含正确的单词以及常见的拼写错误的单词。 1-2、vocab.txt # 该数据集是一个词库， 1-3、testdata.txt # 该数据集是测试集。 二、拼写纠错代码 im
NLP基础之拼写纠错代码实现
weixin_45599022的博客
08-28 439
# 第一步：构建词库 vocab网上搜，自己爬都行 vocab = set([line.rstrip() for line in open('./vocab.txt')]) vocab 输出： { ‘widths’, ‘truer’, …} # 第二步： 生成编辑距离为1的有效单词 # 定义函数生成所有编辑距离为1的候选单词 def generate_candidates(word): """ word: 给定的输入（错误的输入） 返回所有(valid)候选集合 """
NLP_拼写纠错
阿凡提的博客
10-20 960
如果还没有安装nltk(Natural Lanuage ToolKit)模块的同学， 参考下面链接中的第二种方法安装： https://blog.csdn.net/jiajikang_jjk/article/details/83716939 一、整体概括 ->本项目采用的是英文词典库，用来判断单词的正确性。 ->其次需要的文件为用户打错信息表，用来计算单词出错概率，(出错概率越大，...
NLP实战（三）实现拼写纠错
Divine0的博客
06-06 3011
Part 3: 实现拼写纠错 此项目需要的数据： vocab.txt: 这是一个词典文件，作为判断单词是否拼错的依据，任何未出现在词典中的词都认为拼写错误。 spell-errors.txt: 该文件记录了很多用户写错的单词和对应正确的单词，可以通过该文件确定每个正确的单词所对应的错误拼写方式，并计算出每个错误拼写方式出现的概率 testdata.txt: 记录了一些包含拼写错误的单词的文档，用于最后测试 Part 3.1 加载词典文件，根据错误单词，生成候选单词集合 在这里插入代码片 ...
NLP深入学习——拼写纠错（spell correction ）
weixin_42894555的博客
06-17 2014
文章目录返回主目录编辑距离(Edit Distance)方法改进 返回主目录 这是一个系列的文章，点击返回综合目录页 编辑距离(Edit Distance) 概念：编辑距离是针对二个字符串（例如英文字）的差异程度的量化量测，量测方式是看至少需要多少次的处理才能将一个字符串变成另一个字符串 应用：自然语言处理、生物信息学等 简单举例说明： Python代码实现： # 基于动态规划的解法 def edit_dist(str1, str2): # m，n分别字符串str1和str2.
深度学习实战13(进阶版)-文本纠错功能，经常写错别字的小伙伴的福星
05-04
大家好，我是微学AI，我们在日常生活中，经常会写一些... 资料中用NLP中的文本纠错功能来初步解决这个问题，文本纠错作为自然语言处理最基础的模块，是实现中文语句自动检查、自动纠错的一项重要的自然语言处理技术。
产学界最强（SOTA）的简繁中文拼写检查工具：FASPell-python
06-18
产学界最强（SOTA）的简繁中文拼写检查工具：FASPell Chinese Spell Checker (Chinese Spell Check / 中文拼写检错 / 中文拼写纠错 / 中文拼写检查)
spell_check.zip
03-02
该资源为一个压缩包，包括一个python 文件以及一个文档格式为txt的数据信息，主要为一些英语单词文章数据，通过统计该文章从而对输入单词实现一个拼写纠错的功能
Go-Yaspell-采用golang编写的各种文本拼写检查工具
08-13
Yaspell - 采用golang编写的各种文本拼写检查工具
用GPT润色论文的方法给我找到了
04-27
例如：文章中可能有一些显而易见的拼写错误或语法错误，使用纠错功能可以快速找到并改正这些错误。 4、改善段落结构逻辑：输入“优化段落结构”，可以检测段落缺乏连贯性的地方，并提供建议来加强段落逻辑。例如：...
springboot(酒店管理系统)
04-25
开发语言：Java JDK版本：JDK1.8（或11） 服务器：tomcat 数据库：mysql 5.6/5.7（或8.0） 数据库工具：Navicat 开发软件：idea 依赖管理包：Maven 代码+数据库保证完整可用，可提供远程调试并指导运行服务（额外付费）～ 如果对系统的中的某些部分感到不合适可提供修改服务，比如题目、界面、功能等等... 声明： 1.项目已经调试过，完美运行 2.需要远程帮忙部署项目，需要额外付费 3.本项目有演示视频，如果需要观看，请联系我 4.调试过程中可帮忙安装IDEA，eclipse，MySQL，JDK，Tomcat等软件 重点： 需要其他Java源码联系我，更多源码任你选，你想要的源码我都有！ 需要加v19306446185
BP神经网络matlab实例.doc
最新发布
04-25
数学模型算法
设计.zip
04-25
设计.zip
基于 Spring Cloud 组件构建的分布式服务架构
04-25
Java SSM项目是一种使用Java语言和SSM框架（Spring + Spring MVC + MyBatis）开发的Web应用程序。SSM是一种常用的Java开发框架组合，它结合了Spring框架、Spring MVC框架和MyBatis框架的优点，能够快速构建可靠、高效的企业级应用。 1. Spring框架：Spring是一个轻量级的Java开发框架，提供了丰富的功能和模块，用于开发企业级应用。它包括IoC（Inverse of Control，控制反转）容器、AOP（Aspect-Oriented Programming，面向切面编程）等特性，可以简化开发过程、提高代码的可维护性和可测试性。 2. Spring MVC框架：Spring MVC是基于Spring框架的Web框架，用于开发Web应用程序。它采用MVC（Model-View-Controller，模型-视图-控制器）的架构模式，将应用程序分为模型层、视图层和控制器层，提供了处理请求、渲染视图和管理流程的功能。 3. MyBatis框架：MyBatis是一个持久层框架，用于与数据库进行交互。它提供了一种将数据库操作与Java对象映射起来的方式，避免了手动编写繁琐的SQL语句，并提供了事务管理和缓存等功能，简化了数据库访问的过程
如何用python构建一个拼写纠错系统
05-29
要构建一个拼写纠错系统，可以使用Python的自然语言处理工具包NLTK。下面是一个基本的拼写纠错系统的实现步骤： 1.准备语料库：可以使用NLTK中的一些现成的语料库，也可以自己收集一些语料库。 2.预处理文本：对文本进行分词、词形还原、去除停用词等操作。 3.建立词典：将文本中出现的单词存储到一个词典中。 4.编辑距离算法：使用编辑距离算法计算输入单词与词典中的单词之间的距离。 5.选取候选单词：选择与输入单词距离最小的一些候选单词。 6.排序：对候选单词按照一定的规则进行排序，如出现频率、编辑距离等。 7.输出：输出排名最高的一个或几个单词作为纠错结果。 下面是一个简单的代码示例： ```python import nltk from nltk.corpus import brown from nltk.util import ngrams from nltk.metrics.distance import edit_distance # 准备语料库 corpus = brown.words() # 建立词典 word_dict = set(corpus) # 编辑距离算法 def get_candidates(word, max_distance=1): candidates = set() for w in word_dict: if abs(len(word) - len(w)) > max_distance: continue if edit_distance(word, w) <= max_distance: candidates.add(w) return candidates # 排序 def get_top_n_words(word, n=5): candidates = get_candidates(word) distances = [(w, edit_distance(word, w)) for w in candidates] distances.sort(key=lambda x: x[1]) return [w[0] for w in distances[:n]] # 测试 word = 'speling' print(get_top_n_words(word)) ``` 输出结果为：['spelling', 'peeling', 'spewing', 'spiling', 'speeling']，表示输入单词'speling'的纠错结果为'spelling'。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

段智华

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值