NLP—形态还原算法

最新推荐文章于 2024-08-16 11:24:16 发布
最新推荐文章于 2024-08-16 11:24:16 发布
阅读量2.5k 收藏 4
点赞数
分类专栏： NLP
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u012320882/article/details/40629167
版权
本文介绍了如何使用NLP处理英语规则动词的形态还原，通过分析字典文件设计单词数据结构，并解决读取过程中的分隔符问题。程序运行过程中，输入单词后，检查其在字典中的词性和释义，再进行形态变化，依据特定规则进行处理。如果处理后的字符串仍存在于字典中，即认为找到了单词的原型。
摘要由CSDN通过智能技术生成 

自然语言处理中的形态还原就是把句子中的词还原成基本词形，作为词的其它信息（词典、个性规则）的索引。简单的说，就是把各种时态的单词还原成单词的基本形态。对英语单词进行形态还原，是利用到了给出的规则进行处理。为了简化问题，这里只是给出了部分的还原规则。如下所示。


英语“规则动词”还原

*s -> * (SINGULAR3)
*es -> * (SINGULAR3)
*ies -> *y (SINGULAR3)
*ing -> * (VING)
*ing -> *e (VING)
*ying -> *ie (VING)
*??ing -> *? (VING)
*ed -> * (PAST)(VEN)
*ed -> *e (PAST)(VEN)
*ied -> *y (PAST)(VEN)
*??ed -> *? (PAST)(VEN)
英语不规则动词还原
went -> go (PAST)
gone -> go (VEN)
sat -> sit (PAST) (VEN)



利用这些规则，就可以写程序对单词进行处理，形态还原算法如下。

                

        

        

    

  


        

            

                    
                      最低0.47元/天 解锁文章
                        
                    
            

        

    

      

        

            

              
                
                  晴天小猪nju
                
              
            

            

                关注
              
            

        

        

          
      

      

            

                专栏目录
          









                



	

		

			

				
					
英文单词词形还原程序

				
			

			

				

					张土豆的博客
				

				

					09-26
					
					8430
					
				

			

		

		

			
				
英语单词还原，即是指将一个给定的英文单词还原为其原型。如名词复数形式变为原型，动词过去式、现在进行时变为原型，形容词变为其名词或动词本体等。

			
		

	



                

              
                



	

		

			

				
					
词干提取（stemming）和词形还原（lemmatization）

				
			

			

				

					march_on的专栏
				

				

					05-16
					
					4万+
					
				

			

		

		

			
				
今天想完成词干提取的功能，发现提出来的结果并不是有意义的单词，原来还有词形还原这个技术。
以下内容均摘自论文《词形还原方法及实现工具比较分析》


词形还原（lemmatization），是把一个任何形式的语言词汇还原为一般形式（能表达完整语义），而词干提取
（stemming）是抽取词的词干或词根形式（不一定能够表达完整语义）。词形还原和词干提取是词形规范化的两类
重要方式，都能够达

			
		

	



                


  
              

                


	

		

			

				
					
神经网络算法-一文搞懂NLP(自然语言处理)

					
最新发布

				
			

			

				

					2401_85328934的博客
				

				

					08-16
					
					2079
					
				

			

		

		

			
				
与过去依赖固定关键词的方法不同，NLU能够从用户的自然语言表达中识别出真正的意图，如“订机票”、“查询航班”等，使得机器交互更加自然和智能。现如今大模型岗位需求越来越大，但是相关岗位人才难求，薪资持续走高，AI运营薪资平均值约18457元，AI工程师薪资平均值约37336元，大模型算法薪资平均值约39607元。这使得机器能够更准确地理解用户的需求，并提供更精确的服务。很多人学习大模型的时候没有方向，东学一点西学一点，像只无头苍蝇乱撞，下面是我整理好的一套完整的学习路线，希望能够帮助到你们学习AI大模型。

			
		

	





	

		

			

				
					
人工智能：python 实现 第十章，NLP 第二天  基于词义的词形还原

				
			

			

				

					聂雄超的博客
				

				

					02-24
					
					1328
					
				

			

		

		

			
				
基于词义的词形还原lemmatization 是另一种词形还原的方式。 在前一节中，我们可以明白从词干中提取词的基本形式没有任何意义。例如，三个三个词干提取器都显示calves的基本形式是calv,但它并不是一个真正的单词。Lemmatization 采取了一种更具结构化的方法解决了这个问题。lemmatizatio原理是使用语法和词态分析器进行单词分析，它包含了去除了如ing和ed等后缀的单词基...

			
		

	



		

			
		



	

		

			

				
					
NLP词性分析，实体分析，句法树构造（依存句法树分析）

				
			

			

				

					jiangchao98的博客
				

				

					07-30
					
					1万+
					
				

			

		

		

			
				
使用scipy库 和 nltk库进行抽取单词的 词性信息 和 实体信息


			
		

	





	

		

			

				
					
用通俗易懂的方式讲解：一文讲透NLP算法(Python)

				
			

			

				

					2201_75499313的博客
				

				

					01-06
					
					2457
					
				

			

		

		

			
				
NLP，自然语言处理就是用计算机来分析和生成自然语言（文本、语音），目的是让人类可以用自然语言形式跟计算机系统进行人机交互，从而更便捷、有效地进行信息管理。NLP是人工智能领域历史较为悠久的领域，但由于语言的复杂性（语言表达多样性/歧义/模糊等等），如今的发展及收效相对缓慢。比尔·盖茨曾说过，“NLP是 AI 皇冠上的明珠。” 在光鲜绚丽的同时，却可望而不可及（…）。为了揭开NLP的神秘面纱，本文接下来会梳理下NLP流程、主要任务及算法，并最终落到实际NLP项目（经典的文本分类任务的实战）。

			
		

	





	

		

			

				
					
神经网络算法 - 一文搞懂NLP（自然语言处理）

				
			

			

				

					2401_85375151的博客
				

				

					06-03
					
					2284
					
				

			

		

		

			
				
本文将从NLP的本质、NLP的原理、NLP的应用三个方面，带您一文搞懂NLP（自然语言处理）。


			
		

	





	

		

			

				
					
Python自然语言处理之词干,词形与最大匹配算法代码详解

				
			

			

				

					09-21
				

			

		

		

			
				
自然语言处理（NLP）是计算机科学领域的一个关键分支，主要关注人类语言的解析和生成。在NLP中，为了理解和分析文本，我们通常需要对单词进行预处理，包括词干提取（Stemming）和词形还原（Lemmatization）。这两种...

			
		

	





	

		

			

				
					
自然语言处理数据集（NLP）-1.7万多条繁简体转换词库.rar

				
			

			

				

					11-16
				

			

		

		

			
				
自然语言处理（NLP）是计算机科学领域的一个关键分支，主要关注如何使计算机理解、解析、生成和操作人类语言。在NLP中，数据集扮演着至关重要的角色，它们是训练和评估算法性能的基础。本数据集“自然语言处理数据集...

			
		

	





	

		

			

				
					
自然语言处理(NLP)入门

					
热门推荐

				
			

			

				

					SinGaln的博客
				

				

					11-21
					
					12万+
					
				

			

		

		

			
				
本文简要介绍Python自然语言处理(NLP)，使用Python的NLTK库。NLTK是Python的自然语言处理工具包，在NLP领域中，最常使用的一个Python库。什么是NLP？简单来说，自然语言处理(NLP)就是开发能够理解人类语言的应用程序或服务。这里讨论一些自然语言处理(NLP)的实际应用例子，如语音识别、语音翻译、理解完整的句子、理解匹配词的同义词，以及生成语法正确完整句子和段落。这并不

			
		

	





	

		

			

				
					
关键词提取算法-TextRank

				
			

			

				

					weixin_30918415的博客
				

				

					07-02
					
					649
					
				

			

		

		

			
				
　　今天要介绍的TextRank是一种用来做关键词提取的算法，也可以用于提取短语和自动摘要。因为TextRank是基于PageRank的，所以首先简要介绍下PageRank算法。
1.PageRank算法
　　PageRank设计之初是用于Google的网页排名的，以该公司创办人拉里·佩奇（Larry Page）之姓来命名。Google用它来体现网页的相关性和重要性，在搜索引擎优化操作中是经常...

			
		

	





	

		

			

				
					
【总结】自然语言处理（NLP）算法：概述与分类

				
			

			

				

					大盈若冲，其用无穷。
				

				

					07-29
					
					4万+
					
				

			

		

		

			
				
摘要：最近在准备面试NLP的一个岗位，因此先提前准备一些知识点防止被问到。主要参考自然语言处理（NLP）知识结构总结和知乎上的一些问答。 
目录




NLP界神级人物
NLP知识结构
1.概述
2.形式语言与自动机
3.语言模型
4.概率图模型，生成模型与判别模型，贝叶斯网络，马尔科夫链与隐马尔科夫模型（HMM）
5.马尔科夫网，最大熵模型，条件随机场（CRF）
6.命名实体 识别，词性标注，...

			
		

	





	

		

			

				
					
系统学习NLP（二十一）--关键词提取算法总结

				
			

			

				

					工作笔记
				

				

					11-18
					
					7963
					
				

			

		

		

			
				
先说一下自动文摘的方法。自动文摘（Automatic Summarization）的方法主要有两种：Extraction和Abstraction。其中Extraction是抽取式自动文摘方法，通过提取文档中已存在的关键词，句子形成摘要；Abstraction是生成式自动文摘方法，通过建立抽象的语意表示，使用自然语言生成技术，形成摘要。由于生成式自动摘要方法需要复杂的自然语言理解和生成技术支持，应用...

			
		

	





	

		

			

				
					
精通Python自然语言处理 3 ：形态学

				
			

			

				

					Just for fun的专栏
				

				

					05-28
					
					1041
					
				

			

		

		

			
				
    形态学可以定义为使用语素对单词的构成进行研究，语素是具有意义的最小语言单位。1、形态学简介    语素有两种类型：词根和词缀（后缀、前缀、中缀和环缀）。词根可以独立存在，词缀不能以自由的形式存在。2、理解词干提取器     通过去除单词中的词缀以获取词干的过程。为了提高信息检索的准确性，搜索引擎大多会使用词干提取来获取词干并将器存储为索引词。搜索引擎使用具有相同含义的同义词，这可能是一种被...

			
		

	





	

		

			

				
					
NLP的基本任务和对应的算法

				
			

			

				

					Ding_xiaofei的博客
				

				

					05-22
					
					9678
					
				

			

		

		

			
				
开篇

这边给自己挖个大坑，这边主要讲一些基本的nlp任务和对应的算法，希望给大家一个对应的索引，以便去很好的寻找相对应的算法，也希望能够和我未来写的博客建立起来链接。

目录

注意这边这是一个目录，我会慢慢丰富这个目录，然后建立目录和相应的博客链接。


句法分析 
算法：基于Bi-LSTM-CRF算法体系，以及丰富的多领域词表
句法分析（依存句法分析、成分句法分析） 
算法：shift-re...

			
		

	





	

		

			

				
					
超详细！腾讯NLP算法岗面经（已offer）

				
			

			

				

					abcdefg90876的博客
				

				

					04-02
					
					1万+
					
				

			

		

		

			
				
作者| ZipZou整理|NewBeeNLP面试锦囊之面经分享系列，持续更新中可以后台回复"面试"加入交流讨论组噢写在前面首先来段简单的自我介绍：2021届硕士...

			
		

	





	

		

			

				
					
NLP算法之一（LDA理论和实际部分_ _邮件数据处理）

				
			

			

				

					nanjifengzi的博客
				

				

					04-28
					
					1153
					
				

			

		

		

			
				
正经的理理解LDA，分为下述5个步骤：
一个函数：gamma函数
四个分布：二项分布、多项分布、beta分布、Dirichlet分布
一个概念和一个理理念：共轭先验和⻉贝叶斯框架
两个模型：pLSA、LDA
一个采样：Gibbs采样


例子的数据信息格式：




例子：读大量的邮件信息，选出有用的信息。
import numpy as np
import panda

			
		

	





	

		

			

				
					
Python自然语言处理入门

				
			

			

				

					
				

			

		

		

			
				
在Python中，自然语言处理（NLP）通常利用强大的库和工具，如NLTK（自然语言工具包）、spaCy、TextBlob等，来实现文本分析、情感分析、语义理解、机器翻译、信息提取和问答系统等功能。  NLTK是Python中最著名的NLP...

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		
评论 1

	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值