【NLP学习笔记】Word Normalization and Stemming

于 2022-06-15 04:20:38 发布
阅读量268 收藏
点赞数
分类专栏： NLP学习笔记 文章标签： 自然语言处理 学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_44910978/article/details/125289216
版权
这篇博客介绍了NLP中的Word Normalization和Stemming技术，包括Case Folding、Lemmation、Morphemes和Porter's算法，旨在帮助初学者理解如何处理英文单词的不同形式，以达到信息检索和文本处理的目的。
摘要由CSDN通过智能技术生成

此专栏记录NLP的学习，入门教程为油管上Dan Jurafsky的NLP教学视频。

        在NLP中一个常见的问题是，由于英语自身的特点，一个单词有不同的形式，不同时态，单复数，缩写等等，我们通常需要做一些工作将这些单词转换成其最简单的形式。

目录

Normalization

对称扩展

Case folding

Lemmation

Morphemes

Stemming 词干提取

Porter‘s 算法

Normalization

        在信息检索时，检索的文本和文本库里的词形式不一样，比如U.S.A和USA，我们通常希望想办法把它俩匹配起来。有两种方法：

  1. 使用一些方法把字符之间的句号删掉
  2. 不对称扩展。例如，输入windows，查询到window，windows, Windows等等。这种方法较强大但是复杂且低效，所以一般使用简单的对称扩展。

对称扩展

Case folding

        例如在信息检索应用中，我们通常将所有大写转换成小写，因为人们更喜欢使用小写。

        但是会有一些例外，比如词语或句子中间的大写字母，General Motors; 或者某些具有特殊意义的缩写，SAIL表示Stanford Artificial Intelligence Lab，就不再是我们日常使用的动词sail了。

        在情感分析，机器翻译和信息检索中，Case folding很有用。

Lemmation

        在英

最低0.47元/天 解锁文章
数分面试加油
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Stemming the words and word lemmatization —— Python Data Science CookBook
you1314520me的专栏
02-11 964
English grammar dictates how certain words are used in sentences. For example, perform, performing, and performs indicate the same action; they appear in different sentences based on the grammar rule
Word Normalization and Stemming
weixin_34306446的博客
04-01 125
Well, today I learned the word normalization and stemming. After word tokenization, we should stem to map them to a normal form. For examples, u should refer "are is " to "be", and refer "windows" t...
斯坦福NLP笔记4 —— Word Normalization and Stemming
weixin_33798152的博客
07-18 485
2019独角兽企业重金招聘Python工程师标准>>> ...
转：MOSS Search Word Stemming - Part 2
weixin_30443731的博客
08-10 138
MOSS Search Word Stemming - Part 2 So how Does MOSS Expand Search Query Terms to Related Words? Here is how this works in MOSS: In MOSS, stemming is used in combination with the word b...
【笔记】《Speech and Language Processing》Chapter 2 Text Normalization 文本规范化
_Ronnie_的博客
07-05 638
C2. Text Normalization 处理文本之前还需要Text Normalization。归结起来有以下几种Normalization方式： Tokenizing (segmenting) words Normalizing word formats Segmenting sentences 1. 用Unix工具进行粗略的Tokenization和Normalization 可以使用几个Unix命令进行粗略的标注和标准化（以及词频统计）。如tr，可以更改输入为特定的字符；sort，可以将输入
Pytorch、NLP学习笔记
03-01
《PyTorch与自然语言处理学习笔记》 PyTorch是一个强大的深度学习框架，由Facebook的AI研究团队开发，以其灵活性和易用性受到了广大研究人员和开发者们的喜爱。本笔记将深入探讨PyTorch在自然语言处理（NLP）领域的...
深度学习word2vec学习笔记1
08-03
【深度学习word2vec学习笔记1】主要探讨了word2vec这一深度学习技术在自然语言处理中的应用。word2vec是一种高效的语言模型，它能够将自然语言中的词汇转化为连续的向量表示，使得计算机能够更好地理解和处理语言。...
cs224n学习笔记L2:word vectors and word senses
01-06
cs224n学习笔记L1:自然语言处理简介 文章目录一、课堂计划二、 词向量计算方法2.1 回顾word2vec计算2.2 word2vec中计算方法详解2.3 高频词(the)引起的问题三、优化基础3.1 梯度下降3.2 随机(stochastic)梯度下降...
NLP基于深度学习的自然语言处理综述.pdf
04-21
NLP基于深度学习的自然语言处理综述.pdf 相比传统的机器学习，深度学习试图模仿人的学习思路，通过计算机自动完成海量数据的特征提取，文中对近三年的相关文献进行了研究，首先从深度学习的基本概念进行说明，然后对...
属于一枚普通学生的NLP学习笔记
最新发布
05-07
自己的NLP学习笔记，暂时还没有加上参考文章的链接~ 以后一定补上！
词干提取（stemming）和词形还原（lemmatization）
林林同學的博客
01-15 1万+
词形还原（lemmatization），是把一个任何形式的语言词汇还原为一般形式（能表达完整语义），而词干提取（stemming）是抽取词的词干或词根形式（不一定能够表达完整语义）。词形还原和词干提取是词形规范化的两类 重要方式，都能够达到有效归并词形的目的，二者既有联系也有区别。 目标一致。词干提取和词形还原的目标均为将词的屈折形态或派生形态简化或归并为词干（stem）或原形的基础形式，都
NLP模型标准化处理（Normalization）
wawjb的博客
04-21 2371
原文为：(https://www.cnblogs.com/jielongAI/p/10189907.html) 一个NLP模型的表现（performance）很大程度取决于我们所拥有的词汇量（额。。。其实嘛，很难有一个定量的分析，起码目前在学习过程中给我的感觉是如此，词汇量应该掌握在一个具体什么样的程度呢？希望有大神看了我的博客文章也留言给我，是否有一个有效的衡量方法去查看究竟我们所需要的词汇量是...
数据的归一化（Normalization）、标准化（Standardization）
自由 平等~忠诚 奉献
01-28 5万+
数据的标准化、中心化、归一化以及R语言中的scale本文参考： Gower (1985), Johnson and Wichern (1992), Everitt (1993), and van Tongeren (1995)http://stats.stackexchange.com/questions/10289/whats-the-difference-between-normalizati
自然语言处理学习篇01——Basic Text Processing
huaweidong2011的专栏
06-30 7001
前言： 自然语言处理（Natural Language Processing——NLP）广泛应用于语音识别、机器翻译、自动问答等领域。早期的自然语言处理技术是基于“词性”和“语法”的，到了70年代走到了尽头，取而代之的是基于“数理统计”的方法。NLP的历史可以参考《数学之美》（吴军 著）一书。 本系列跟随斯坦福Dan Jurafsky教授和Christopher Manning助理教授来学习N
每日一学 Scale和Normalization
心旷神怡
04-15 3381
kaggle上的数据清洗教程第二天---Scale和Normalization(不知道如何翻译会比较好，参考了其他博客，scale为缩放，normalization 为正则化)1.Scale1.1 粗略理解    将数据转为为特定范围的数据，比如（0，1）或者（0，100）1.2 例子    a.对于SVM和KNN方法，由于涉及数据点之间的距离度量，则需要对数据进行scale，使得任何特征中的“1...
词干提取算法Porter Stemming Algorithm解读
qq492066487的专栏
05-30 2477
转自：http://www.131x.com/zhaosq/BBSShow.aspx?id=1720 词干提取算法Porter Stemming Algorithm解读 ClickNum:199|ReplyNum:2   Lucene里面的分词器里面有一个PorterStemFilter类，里就用到了著名的词干提取算法。所谓Stemming，就是词干，在英语中单词
二叉树的宽度
热门推荐
Dablelv 的博客专栏。
04-06 6万+
二叉树的宽度定义为具有最多结点数的层中包含的结点数。比如上图中，第 1 层有 1 个结点， 第 2 层有 2 个结点， 第 3 层有 4 个结点， 第 4 层有 1 个结点。可知，第 3 层的结点数最多，所以这棵二叉树的宽度是 4。
NLP Lemmatisation（词性还原） 和 Stemming（词干提取） NLTK pos_tag word_tokenize
心之所向
03-03 2万+
词形还原（lemmatization），是把一个词汇还原为一般形式（能表达完整语义），方法较为复杂；而词干提取（stemming）是抽取词的词干或词根形式（不一定能够表达完整语义），方法较为简单。 Stemming（词干提取）： 基于语言的规则。如英语中名词变复数形式规则。由于基于规则，可能出现规则外的情况。 # Porter Stemmer基于Porter词干提取算法 from nlt...
NLP技术分享 自然语言处理技术 AI科技大本营公开课《深度学习在NLP中的发展和应用》 共55页.pdf
04-25
该资源是一份关于自然语言处理（NLP）技术的PDF公开课，主要探讨深度学习在NLP中的应用和发展。课程分为四个部分，包括NLP的基本概念与任务，深度学习解决NLP问题的方法，深度学习模型在对话和机器翻译中的应用，...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值