R+openNLP︱openNLP的六大可实现功能及其在R语言中的应用

最新推荐文章于 2024-08-07 10:15:41 发布
最新推荐文章于 2024-08-07 10:15:41 发布
阅读量5.4k 收藏 11
点赞数
分类专栏： NLP︱R+python R语言与自然语言处理 文章标签： R openNLP NLP 命名实体识别 序列标注
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sinat_26917383/article/details/52368095
版权



每每以为攀得众山小，可、每每又切实来到起点，大牛们，缓缓脚步来俺笔记葩分享一下吧，please~

———————————————————————————


openNLP是NLP中比较好的开源工具，R语言中有openNLP packages，但是呢，貌似对中文的支持并不好，笔者试了试，发现结果并不如意。但是也算认识了一番，就来介绍一下。

一些内容转载于白宁超老师：OpenNLP：驾驭文本，分词那些事


————————————————————————————————————————


一、openNLP简介


维基百科：Apache OpenNLP库是一个基于机器学习的自然语言文本处理的开发工具包，它支持自然语言处理中一些共有的任务，例如：标记化、句子分割、词性标注、固有实体提取（指在句子中辨认出专有名词，例如：人名）、浅层分析（句字分块）、语法分析及指代。这些任务通常都需要较为先进的文字处理服务功能。

官方文档：Apache的OpenNLP库是自然语言文本的处理基于机器学习的工具包。它支持最常见的NLP任务，如断词，句子切分，部分词性标注，命名实体提取，分块，解析和指代消解。这些任务通常需要建立更先进的文字处理服务。OpenNLP还包括最大熵和基于感知机器学习。该OpenNLP项目的目标是创造上述任务的成熟工具包。一个附加的目的是提供一种大量预建模型为各种语言，以及这些模型衍生自注释文本资源。

————————————————————————————————————————


二、六大功能——openNLP packages


R中的openNLP主要有以下几个功能：

序列标注（maxent chunker）、实体命名识别（maxent entity annotator）、词性标注器（ops tag annotator）、句子探测器（sent toen annotator）、解析器（parse annotator）、标记生成器（maxent word token annotator）


1、序列标注（maxent chunker）

文本分块由除以单词句法相关部分，如名词基，动词基的文字，但没有指定其内部结构，也没有其在主句作用。

R语言中函数名称：Maxent_Chunk_Annotator()——Apache OpenNLP Maxent chunker.


2、实体命名识别（maxent entity annotator）

名称查找器可检测文本命名实体和数字。为了能够检测实体名称搜索需要的模型。该模型是依赖于语言和实体类型这是训练。所述OpenNLP项目提供了许多这些各种免费提供的语料库训练有素预训练名取景模式。后面会提到如何下载。

根据不同的模型可以查找人名、地名等实体名。

R语言中函数名称：Maxent_Entity_Annotator—— Apache OpenNLP Maxent namefinder.


3、词性标注器（ops tag annotator）

语音标记器的部分标记符号与基于符号本身和符号的上下文中它们的相应字类型。符号可能取决于符号和上下文使用多个POS标签。该OpenNLP POS标注器使用的概率模型来预测正确的POS标记出了标签组。为了限制可能的标记的符号标记字典可以使用这增加了捉人者的标记和运行时性能。

R语言中函数名称：pos_tag_annotator——Apache OpenNLP MaxentPart of Speech tagger.


4、句子探测器（sent toen annotator）

功能介绍：

句子检测器是用于检测句子边界。

句子探测器返回一个字符串数组。

R语言中函数名称：sent_token_annotator——Apache OpenNLP Maxentsentence detector


5、解析器（parse annotator）、针对english

尝试解析器最简单的方法是在命令行工具。该工具仅用于演示和测试。请从我们网站上的英文分块解析器模型，并用以下命令启动解析工具。

R语言中函数名称：Parse_Annotator—— Apache OpenNLPchunking parser for English


6、标记生成器/断句/分词（maxent word token annotator）

OpenNLP断词段输入字符序列为标记。常是这是由空格分隔的单词，但也有例外。例如，“isn't”被分割为“is”与“n't"，因为它是AA简要格式”isn't“我们的句子分为以下标记：符号通常是词语，标点符号，数字等OpenNLP提供多种标记生成器的实现：

  • 空白标记生成器 - 一个空白标记生成器，非空白序列被确定为符号
  • 简单的标记生成器 - 一个字符类标记生成器，同样的字符类的序列标记
  • 可学习标记生成器 - 一个最大熵标记生成器，检测基于概率模型符号边界
R语言中函数名称：word_token_annotator——e Apache OpenNLP Maxenttokenizer


————————————————————————————————————————


三、openNLP在R中的实现以及使用心得


1、使用前预加载


openNLP基于众多语料训练了很多已有的实体词、取词场景等，在R中需要到指定网址下载（http://datacube.wu.ac.at/），这里笔者也附上openNLP的官方链接（http://opennlp.sourceforge.net/models-1.5/）

[ ]openNLPmodels.da_1.5-2.tar.gz2015-04-08 09:561.2M基于conllx ddt 数据的分词、句子探测器、POS标注
[ ]openNLPmodels.de_1.5-2.tar.gz2015-04-08 09:568.0Mtiger data数据集分词、句子探测器、POS标注
[ ]openNLPmodels.en_1.5-1.tar.gz2015-04-08 09:5774Mopennlp training data分词、句子探测器、POS标注、命名实体识别、解析器、序列标注
[ ]openNLPmodels.es_1.5-1.tar.gz2015-04-08 09:573.8Mconll02 shared task data的命名实体识别
[ ]openNLPmodels.it_1.5-1.tar.gz2015-04-08 09:5725M 
[ ]openNLPmodels.nl_1.5-2.tar.gz2015-04-08 09:574.1Mconllx alpino data的分词、命名实体、POS标注
[ ]openNLPmodels.pt_1.5-2.tar.gz2015-04-08 09:572.1Mconllx bosque data的POS标注、句子探测、分词
[ ]openNLPmodels.sv_1.5-2.tar.gz2015-04-08 09:572.4M

其中词性标注有：最大熵模型（Part of Speech Tagger）、感知器模型Perceptron model（pos标注），R只有前者。

从大小来看也知道en是最全面的，所以要下载。

下载的方式跟调用包一样方便：

 install.packages("foo", repos = "http://datacube.wu.ac.at/", type = "source")
其中foo代表着你要下载内容的名称，比如：openNLPmodels.en


2、R语言实践——官方案例


（1）先得到序列：

s <- paste(c("Pierre Vinken, 61 years old, will join the board as a ",
             "nonexecutive director Nov. 29.\n",
             "Mr. Vinken is chairman of Elsevier N.V., ","the Dutch publishing group."),
           collapse = "")
s <- as.String(s)   #library(NLP)

（2）设置分词器以及句子探测器：

sent_token_annotator <- Maxent_Sent_Token_Annotator()
word_token_annotator <- Maxent_Word_Token_Annotator()
pos_tag_annotator <- Maxent_POS_Tag_Annotator()

（3）解析分词、词性、整句到a3：

a3 <- annotate(s,
               list(sent_token_annotator,
                    word_token_annotator,
                    pos_tag_annotator))

（4）进行后续的分析（序列标注、命名实体识别）：

序列标注的code：

annotate(s, Maxent_Chunk_Annotator(probs = TRUE), a3)
实体识别的code： 
annotate(s, Maxent_Entity_Annotator(probs = TRUE), a2)

其中probs代表是否需要从最大熵模型中提取出概率。




参考文献：

1、open在案例：OpenNLP Tutorial

2、openNLP在R中的数据集：http://datacube.wu.ac.at/

3、R中的openNLP文档:https://cran.r-project.org/web/packages/openNLP/openNLP.pdf

每每以为攀得众山小，可、每每又切实来到起点，大牛们，缓缓脚步来俺笔记葩分享一下吧，please~

———————————————————————————

悟乙己
关注
专栏目录
R语言深度学习：自然语言处理（NLP）基础
sybh的博客
05-08 876
自然语言处理（NLP）是一种使用计算机来处理人类语言的技术。在过去的几十年中，NLP 技术已经得到了广泛的应用，如机器翻译、语音识别、情感分析等等。而深度学习是 NLP 中最热门的技术之一，它可以帮助我们从大量的语言数据中提取出有用的信息。本文将介绍如何使用 R 语言进行深度学习中的自然语言处理。我们将使用一些常见的 NLP 技术，如词向量、循环神经网络（RNN）和长短时记忆网络（LSTM），并使用 R 语言中的一些流行的 NLP 工具和库，如 tidytext、keras 和 tensorflow。
【AI 人工智能】大型语言模型的实现技术原理与应用
热门推荐
程序员光剑
06-11 1万+
大型语言模型的实现需要使用多种技术，包括语言数据的处理、模型的构建和训练、模型的部署和应用等。模型的构建是指根据语言数据的特征信息，构建出一组合适的神经网络结构，以实现对语言的建模和处理。语言模型是一种能够处理自然语言的计算机程序，能够学习人类语言的语法、语义和用法，并通过大量的语言数据进行训练，从而生成高质量的自然语言文本。对于翻译任务，我们可以使用预训练的 CNN 和 RNN 模型，而对于文本生成任务，我们可以使用预训练的自编码器和 LSTM 模型。大型语言模型的实现和应用已经受到了广泛的关注和应用。
r语言 月度消费频次_第16天：NLP——语言模型(下)
weixin_36479263的博客
01-03 217
&emsp;&emsp;上一篇[文章](第15天：NLP--语言模型(上)_Oliverfly1的博客-CSDN博客)我们介绍了语言模型的相关理论，包括Nosiy Channel Model、Chain Rule以及很典型的Markov Assumption，另外就是介绍了Unigram、 Bigram 以及N-gram模型，然后就是估计语言模型的概率，还有就是评估语言模型，其中就...
Apache OpenNLP 教程
gitblog_00333的博客
08-07 572
Apache OpenNLP 教程 opennlpApache OpenNLP项目地址:https://gitcode.com/gh_mirrors/ope/opennlp 1. 项目介绍 Apache OpenNLP 是一个基于机器学习技术的自然语言处理（NLP）工具包。它支持多种常见的NLP任务，包括分词、句子分割、词性标注、命名实体识别、依存关系分析、核心ference解析和语言检测等。O...
R语言安装NLP自然语言分析包
木小鱼的笔记
11-15 9931
引言： R语言是一种非常强大的分析与展示的统计科学家工具，其也提供了若干关于自然语言的分析处理工具，本文讲展示如何在Linux进行安置。 1.  自然语言处理（NLP）   对于英语体系，基于空格可以直接进行分词，而中文则不同，需要进行分词，然后进行后续处理。NLP是natural language processing的缩写，专指此类的工作。     自然语言处理包： Snowba
OpenNLP初尝试--自然语言处理
Hitcs_fs的博客
06-24 3539
引言 最近对自然语言处理特别感兴趣，之前上了一个研修课就想尝试着文本分析来着，但是由于时间关系和能力关系没实施，这学期又要提交一个大作业，要求是让计算机读入一段文本并自动的生成文本中叙述的场景，感觉很难，而且还在初步尝试中。 大体的流程应该是上述，不过目前我还在尝试用现有的NLP技术理解文本。 最近，我浏览网页发现呼声比较高的就是OpenNLP这个开源的工具包，下面我来简单描述一下我最近的尝试。...
使用opennlp进行词性标注
weixin_34344403的博客
04-05 319
序 本文主要研究下如何使用opennlp进行词性标注 POS Tagging 词性（Part of Speech, POS），标注是对一个词汇或一段文字进行描述的过程。这个描述被称为一个标注。 目前流行的中文词性标签有两大类：北大词性标注集和宾州词性标注集。现代汉语的词可以分为两类12种词性：一类是实词：名词、动词、形容词、数词、量词和代词；另一类是虚词：副词、介词、连词、助词、叹词和拟声词。 这...
使用R语言进行自然语言处理与机器情感认知
08-22
自然语言处理是机器理解人类情感的第一步，今天就让我们运用R语言，通过两款强大的工具——做中文分词的jieba、做大数据运算的spark，来处理自然语言，并从中提取出语言想要表达的情感。 该资源包含了完成机器情感认知的基本资料及R语言代码，具体使用方法请查看我的这篇文章：https://blog.csdn.net/weixin_38641983/article/details/81872137
用r语言画出y = ax^2 + bx + c,R语言中如何使用最小二乘法
weixin_29943753的博客
05-20 1314
这里只是介绍下R语言中如何使用最小二乘法解决一次函数的线性回归问题。代码如下：>x>y> lsfit(x,y)结果如下：$coefficientsInterceptX0.8310557 0.9004584说明： Intercept ：截距X： 变量x的系数即对于一元一次函数截距式方程：y=0.9x0.83输出结果：k= 0.900458420439 b= 0.8310556388...
【文本到上下文 #10】探索地平线：GPT 和 NLP 中大型语言模型的未来
gongdiwudu的专栏
02-03 2559
欢迎阅读我们【文本到上下文 #10】：此为最后一章。以我们之前对 BERT 和迁移学习的讨论为基础，将重点转移到更广阔的视角，包括语言模型的演变和未来，特别是生成式预训练转换器 （GPT） 及其在 NLP 中的重要作用。
NLP 自然语言处理实战
风尘浪子
03-28 1万+
本文从分词、词频、词向量等基础领域开始讲解自然语言处理的原理，讲解 One-Hot、TF-IDF、PageRank 等算法及 LDA、LDiA、LSA 等语义分析的原理。介绍 Word2vec、GloVe 、Embedding 等常用词嵌入及 NLTK、Jieba 等分词工具的应用。
支持向量机在R语言中的应用
03-19
SVM除了可以用于分类问题，也可以用于回归问题，这里有svm在r语言中的应用
【文本到上下文 #2】：NLP 的数据预处理步骤
gongdiwudu的专栏
01-17 5302
这篇文章是我们的“完整 NLP 指南：文本到上下文”博客系列的第二部分。我们的重点非常明确：我们深入研究为 NLP 任务奠定基础所必需的关键数据预处理步骤。虽然 NLP 的进步使得能够开发能够感知和理解人类语言的应用程序，但仍然存在一个关键的先决条件——以机器可以理解的格式准备并向机器提供数据。这个过程涉及一系列多样化且重要的预处理步骤。
NLP-文本处理：词性标注【使用成熟的第三方工具包：中文（哈工大LTP）、英文（）】【对分词后得到的“词语列表”进行词性标注，词性标注的结果用于依存句法分析、语义角色标注】
u013250861的博客
03-27 3587
深度学习-自然语言处理(NLP)-文本预处理：词性标注
NLP超详细新手快速入门上手篇（1）常用函数
学习，是熵减的最有效途径。
06-03 1381
自然语言处理(NLP)是机器学习的应用之一，用于分析、理解和生成自然语言，以便人类与计算机，人类与人类更好的交流。自然语言处理按照任务类型可以分为分类、匹配、翻译、结构化预测、与序贯决策过程这五类。本篇参考自TensorFlow官方文档，旨在让大家能够通过简单的代码，快速上手自己的第一个nlp模型。
探索Apache OpenNLP：自然语言处理的强大工具
最新发布
gitblog_00381的博客
08-07 412
探索Apache OpenNLP：自然语言处理的强大工具 opennlpApache OpenNLP项目地址:https://gitcode.com/gh_mirrors/ope/opennlp 项目介绍 欢迎来到Apache OpenNLP的世界！OpenNLP是一个基于机器学习的自然语言文本处理工具包，由Apache软件基金会维护。这个工具包完全用Java编写，提供了包括分词、句子分割、词性...
好书推荐《R语言在定量金融中的应用》
hfutxiaoguozhi的博客
12-06 4693
给大家推荐一本R语言在定量金融方面的好书，是我老师编写的，我也非常有幸参与到这本书的编写过程中。这本书2015年5月份正式上线，其实从2013年底开始写的，经历大约两年的时间。这本书一出来就收到了很大的关注，读者反映都很好。这本书本身是属于一个系列的《数量经济系列丛书》一本，这系列的书封面很相似，都是蓝的的背景。这个系列的其他书大家可能都见过，在市面上也很受欢迎。下面我大体介绍一下《R语言在定量金
OpenNLP 自然语言处理工具
ejinxian的专栏
08-05 938
OpenNLP 是一个机器学习工具包，用于处理自然语言文本。支持大多数常用的 NLP 任务，例如：标识化、句子切分、部分词性标注、名称抽取、组块、解析等。 特性： 使用严格的数学进行计算以获得一致的评估 实现 langdetect 中的 Serializable 并进行规范化 OpenNLP Home Page documentation ...
OpenNLP是一个开源的自然语言处理（NLP）工具包，它提供了许多用于文本处理和分析的Java库和工具
博客域名:borter.blog.csdn.net
11-12 1626
OpenNLP是一个开源的自然语言处理（NLP）工具包，它提供了许多用于文本处理和分析的Java库和工具。通过使用OpenNLP，您可以实现各种NLP任务，例如分词、词性标注、命名实体识别、句法分析等等。
openNLP入门：实现分词与基础方法
本文档是对openNLP进行初步学习的指南，主要关注的是如何通过编程实现openNLP中的关键功能，如词性标注（PoS tagging）、句法分析（Syntactic Parsing）以及疑问词短语识别（Wh-phrase detection）。 1. **词性标注...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值