斯坦福 stanford coreNLP 中的PCFG parser-lexparser

最新推荐文章于 2022-03-27 17:12:07 发布
VIP文章 最新推荐文章于 2022-03-27 17:12:07 发布
阅读量3k 收藏 4
点赞数 1
分类专栏： stanford-coreNLP阅读笔记 文章标签： 短语树 依存句法树
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/eli00001/article/details/75088863
版权

PCFG模型训练

 

Java -Xmx7g  edu.stanford.nlp.parser.lexparser.LexicalizedParser   -tLPP edu.stanford.nlp.parser.lexparser.ChineseTreebankParserParams  -train data/source/dataCTBZh//bracketed  -saveToSerializedFile  data/models/pcfgZH.ser.gz

 

其中： 

 
 

-tLPP，用来选定训练树库的语言，中文选择edu.stanford.nlp.parser.lexparser.ChineseTreebankParserParams
 

 
 

说明：
 

        输入的语料共1677971个句子，去重后词为67811
 

   输入的文件格式为：
 

<DOC>
<DOCID>XIN.19960210.0178</DOCID>
<HEADER>
<DATE>1996-02-10</DATE>
</HEADER>
<BODY>
<HEADLINE>
<S ID=1>
( (IP-HLN (NP-SBJ (NP-PN (NR 上海) 
			 (NR 浦东)) 
		  (NP (N

                

        

        

    




        

            

                    
                      最低0.47元/天 解锁文章
                        
                    
            

        

    

      

        

            

              
                
                  一休Q_Q
                
              
            

            

                关注
              
            

        

        

          
    
            
  • 
              
                
                
                
                
                    1
                
              
              
    点赞
    
            
    • 
            
  • 
              
                
                
                
              
              
    踩
    
            
    • 
            
  • 
              
                
                
                
                
                    4
                
              
              
    
                
    
                  
                    收藏
                  
                
    
              
    
              
    
                
    
                  觉得还不错?
                  
                    一键收藏
                  
                 
                
    
              
    
            
    • 
          
  • 
            
    
              
              
            
    
              
              
              
                  5
              
            
            
    评论
    
          
    • 
          
  • 
          
    • 
          
  • 
            
              
            
              
    
            
              
                
            
    
          
    • 
        

      

      

            

                专栏目录
          










                



	

		

			

				
					
斯坦福Stanford coreNLP宾州树库的词性标注规范

				
			

			

				

					一休哥的专栏
				

				

					07-13
					
					6851
					
				

			

		

		

			
				
宾州树库的词性标注规范

			
		

	



                

              
                



	

		

			

				
					
斯坦福大学Stanford coreNLP 宾州树库依存句法标注体系

				
			

			

				

					一休哥的专栏
				

				

					07-13
					
					5894
					
				

			

		

		

			
				
斯坦福大学Stanford coreNLP 依存句法标注体系

			
		

	



                


  
              

                


	

		

			

				
					
对给定的一句话进行依存分析

				
			

			

				

					Deep Learning and NLP Farm
				

				

					01-27
					
					1025
					
				

			

		

		

			
				
package com.parser;

import java.util.List;
import java.io.StringReader;

import edu.stanford.nlp.process.Tokenizer;
import edu.stanford.nlp.process.TokenizerFactory;
import edu.stanford.nlp.process.C

			
		

	





	

		

			

				
					
十、模板匹配

				
			

			

				

					beyond谚语的博客
				

				

					03-27
					
					502
					
				

			

		

		

			
				
一、概念
模板匹配就是在整个图像区域发现与给定子图像匹配的小块区域。
需要首先给定一个模板图像A，和一个待检测图像B。
在待检测图像B上，从左往右，从上往下计算待检测图像B和模板图像A所重叠的匹配度，匹配度越高则两者相同的可能性越高。
二、公式
相关API的实现可以去官网查看具体的源码

三、模板匹配
import cv2
import numpy as np
from matplotlib import pyplot as plt


def template():
    tpl = cv2.imrea

			
		

	



		

			
		



	

		

			

				
					
斯坦福句法分析 java_使用stanford nlp进行依存句法分析

				
			

			

				

					weixin_42392425的博客
				

				

					02-25
					
					420
					
				

			

		

		

			
				
序本文主要研究下如何使用stanford nlp进行依存句法分析mavenedu.stanford.nlpstanford-corenlp3.9.1LexicalizedParserLexical是词汇的意思，LexicalizedParser即词汇的语法解析@Testpublic void testLexicalizedParser() throws IOException {Lexicaliz...

			
		

	





	

		

			

				
					
从0开始，用Go实现Lexer和Parser

				
			

			

				

					Go中国
				

				

					10-23
					
					2169
					
				

			

		

		

			
				
前言在 2019年第五届 Gopher China 大会上，来自英语流利说的何源进行了题为《从0开始用Go实现Lexer和Parser》的演讲。主要介绍了如何用 Go 实...

			
		

	





	

		

			

				
					
stanford parser使用

				
			

			

				

					一个菜鸟
				

				

					07-31
					
					5858
					
				

			

		

		

			
				
stanford parser是一个可进行短语结构和依存结构分析的parser，网络上的资料很多，而且在stanford nlp的网站上也有很多说明，代码中的readme文件数的也很详细。在这里简要记录一下我学习的一些过程。
    stanford parser的源代码下载后可直接使用，不需要做任何修改。训练语料默认是英文的wsj语料。在使用中文训练时需要在参数中指定：

训练：使用中文训

			
		

	





	

		

			

				
					
PCFG parser

				
			

			

				

					04-22
				

			

		

		

			
				
1. 实现了PCFG算法的内向和外向算法，以及Viterbi算法的源代码(500 lines)
2. 内部还有一个基于字符匹配的聊天机器人小程序(300 lines)

			
		

	





	

		

			

				
					
用stanford分词后选出名词java,如何训练stanford LexicalizedParser将新单词识别为名词？...

				
			

			

				

					weixin_42510841的博客
				

				

					03-27
					
					96
					
				

			

		

		

			
				
我想弄清楚如何训练stanford LexicalizedParser(edu.stanford.nlp.parser.lexparser.LexicalizedParser)将新名词纳入其词典 .起初我的目标是采取现有模型并稍微调整一下，而不是从大量的培训示例中创建一个全新的模型 .希望有人在那里可以让我走上正确的轨道，如何做到这一点 .作为我想要做的具体例子，我说我有“researchgate...

			
		

	





	

		

			

				
					
PCFG parser及实现

				
			

			

				

					mingspy的专栏
				

				

					04-24
					
					1万+
					
				

			

		

		

			
				
源代码点击下载
背景介绍:
PCFG是ProbabilisticContext Free Grammar的简写，是Chomsky范式中的2型文法。句法分析就是解析出句子的词之间的结构关系，对于什么是句法分析，我们并不陌生，因为我们从上小学开始就经过了句法分析的“严酷”训练，回想一下,语文老师教我们怎么解析一个句子的主谓宾定状补。
为了便于科学描述和交流，把一个句法表示成四元组:

			
		

	





	

		

			

				
					
【编译原理】Python自然语言处理中的语法分析

				
			

			

				

					weixin_43442778的博客
				

				

					03-18
					
					1283
					
				

			

		

		

			
				
目录

一、实验目的

二、实验任务

三、实验原理

1 自然语言处理概述

2 Stanford Parser简介

四、实验过程

1 安装JDK

2 下载StanfordParser[3]，配置环境变量

3 安装NLTK库，配置环境变量

4 使用Stanford Parser的PCFG算法进行句法分析

五、实验结果

1 任务一

2 任务二

参考资料

附录

1 任务1代码

2 任务2代码

一、实验目的

1、熟悉中文句法分析；

2、掌握如何使用Stanford Parser..

			
		

	





	

		

			

				
					
stanford parser 使用说明

					
热门推荐

				
			

			

				

					无限大地NLP_空木的专栏
				

				

					07-11
					
					2万+
					
				

			

		

		

			
				
preface: 最近忙着的项目想试着用斯坦福的parser，来解析句子生成句法分析树，然后分析子树，与treekernal结合起来，训练。stanford parser神器下载下来了，可使用却是蛋疼。一大堆说明，却没个方便快捷关于总的介绍。
一、必先利其器


stanford parser主页：http://nlp.stanford.edu/software/lex-parser.sh

			
		

	





	

		

			

				
					
stanford-corenlp-3.9.2-models.jar

				
			

			

				

					05-09
				

			

		

		

			
				
stanford-corenlp-3.9.2-models.jar

			
		

	





	

		

			

				
					
stanford-corenlp-full-2018-10-05.zip

				
			

			

				

					05-07
				

			

		

		

			
				
StanfordCoreNLP适用于以下情形:    一个具有广泛语法分析工具集成的NLP工具包；... 一种广泛应用于生产中的快速、健壮的任意文本注释器；    一个现代化的具有全面高质量的文本分析功能的、定期更新的软件包

			
		

	





	

		

			

				
					
stanford-corenlp-full-2015-12-09.zip

				
			

			

				

					07-19
				

			

		

		

			
				
斯坦福大学的NLP包，可用于用于BLEU、CIDER、SPICE等指标的计算，以及一些自然语言处理相关内容，使用COCO数据集评价函数必备。

			
		

	





	

		

			

				
					
stanford-corenlp-full-2014-08-27

				
			

			

				

					08-27
				

			

		

		

			
				
斯坦福大学自然语言处理研究组发布的有关自然语言处理的核心jar包，可用于分词等操作

			
		

	





	

		

			

				
					
stanford-chinese-corenlp-2018-10-05-models.jar

				
			

			

				

					12-16
				

			

		

		

			
				
因为文件大小上传的限制，所以文件里只放入了工具包的网盘链接，如果链接失效或者想要邮箱发送，请按照里面的要求发送邮件给里面指定的邮箱

			
		

	





	

		

			

				
					
斯坦福stanford coreNLP 宾州树库汉语短语类别表23个

				
			

			

				

					一休哥的专栏
				

				

					07-13
					
					3540
					
				

			

		

		

			
				
短语分类

			
		

	





	

		

			

				
					
stanford-corenlp-full-2015-12-09

					
最新发布

				
			

			

				

					07-07
				

			

		

		

			
				
而stanford-corenlp-full-2015-12-09则是这个工具包的一个特定版本。  stanford-corenlp-full-2015-12-09包含了所有Stanford CoreNLP工具和库的完整集合。它包括了多种NLP模型，用于处理不同的语言和任务。这个版本...

			
		

	



              



  
“相关推荐”对你有帮助么？

  

      
    
          
  • 
              
    
                  
                  
              
    
              
    非常没帮助
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    没帮助
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    一般
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    有帮助
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    非常有帮助
    
          
    • 
      

      

      

          
          提交
      

      

  




          




        



    





    



      

      

        
      

      





	

		
评论 5

	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值