Stanford Named Entity Recognizer (NER)简单应用实例

最新推荐文章于 2024-09-26 00:07:20 发布
最新推荐文章于 2024-09-26 00:07:20 发布
阅读量3.6k 收藏 2
点赞数 1
分类专栏： NLP 文章标签： 斯坦福大学 entity 自然语言 java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zl19890124/article/details/46686241
版权
本文介绍了如何使用Stanford Named Entity Recognizer (NER)训练自定义模型。通过提供训练数据，创建配置文件并运行训练过程，生成了适应特定需求的ner-model.ser.gz模型。模型成功识别了日期和星期等实体。
摘要由CSDN通过智能技术生成

Stanford Named Entity Recognizer (NER)是斯坦福大学自然语言研究小组发布的成果之一，

其主页是：http://nlp.stanford.edu/software/CRF-NER.shtml

Stanford NER 是一个Java实现的命名实体识别（以下简称NER）程序。NER将文本中的实体按类标记出来，例如人名，公司名，地区，基因和蛋白质的名字等。

NER基于一个训练而得的Model工作，用于训练的数据即大量人工标记好的文本，理论上用于训练的数据量越大，NER的识别效果就越好。

斯坦福小组给出了三个训练好的Model：

  1. Location, Person, Organization
  2. Location, Person, Organization, Misc
  3. Time, Location, Organization, Person, Money, Percent, Date

但不幸的是，这三个Model都不能被扩展，用于训练的数据也不公开，所以想要一个适应自己需求的Model我们只能从头训练。

下面我们就用一个简单的例子来摸索一下如何训练一个新的Model并用它尝试识别几个简单的句子。

首先从主页下载Stanford Named Entity Recognizer：http://nlp.stanford.edu/software/stanford-ner-2013-11-12.zip 解压即可。

文中提到的训练数据、配置文件、Model和完整工程可从网盘下载：http://pan.baidu.com/s/1xNAqD

准备训练数据


这是本例所使用的训练数据，包含标记好的两句话：Today is Friday. Tomorrow is 11/30.
如图，句子中的每个单词独立成行，Tab后跟该单词的类别，默认为O。例中，我们标记了Friday为WEEK，11/30为DATE，其余均为默认。

训练获得Model

官方说虽然所有的参数都可以通过命令行的方式指定，但更推荐用配置文件的方式。

最低0.47元/天 解锁文章
sure-fire
关注
专栏目录
使用stanford corenlp训练自己的NER模型
Talk Is Cheap
04-23 3325
https://nlp.stanford.edu/software/crf-faq.shtml 另外https://nlp.stanford.edu/software/ 的Stanford Named Entity Recognizer是模型已经固定直接用的，和自己训练是两回事
斯坦福命名实体识别（Stanford Named Entity Recognizer）
yangyangrenren的专栏
01-24 1万+
Stanford Named Entity Recognizer
Gavin老师Transformer直播课感悟 - 使用BERT进行NER案例实战
m0_49380401的博客
11-26 1228
一、BERT Fine-tuning命名实体识别（NER） 命名实体识别（Name Entity Recognition）这项技术无论是在传统经典的机器学习算法还是在以神经网络为代表的新一代机器学习算法中都是核心技术，它在本质上来说就是信息提取(information extraction), 主要功能就是完成定位和分类，信息可以是结构化和非结构化数据。举例来讲，如果有一个文本，如何从这个文本中提取信息就是NER要完成的任务，从而把文本中的这些实体抽取到预定义好的类别。在工业实践中，譬如在...
深度学习速通系列:命名实体识别
Ven%的博客
09-13 432
为了解决这些问题，研究者们提出了多种方法，包括基于词典的方法、利用字符级信息的方法，以及结合上下文信息的方法。在技术实现上，可以使用现有的NLP库和工具，如spaCy、Stanford NLP、NLTK等，这些工具提供了预训练的模型和简单的API，使得NER任务的实现变得更加容易。此外，还有一些开源项目和研究工作，如美团搜索中NER技术的探索与实践，提出了“实体词典匹配+模型预测”的框架，以及华为提出的中文NER领域最新SOTA方法RICON，这些研究为NER技术的发展提供了新的方向和实践案例。
使用Stanford Word Segmenter and Stanford Named Entity Recognizer (NER)实现中文命名实体识别
热门推荐
以家为家，以乡为乡，以国为国，以天下为天下
01-08 2万+
一、分词介绍 http://nlp.stanford.edu/software/segmenter.shtml 斯坦福大学的分词器，该系统需要JDK 1.8+，从上面链接中下载stanford-segmenter-2014-10-26，解压之后，如下图所示 ，进入data目录，其中有两个gz压缩文件，分别是ctb.gz和pku.gz，其中CTB：宾州大学的中国树库训练资料 ，PKU：中国北京
ner数据扩充脚本例子
DYF的博客
01-16 609
ner数据扩充脚本例子 import json import random js = {"id": 10000, "text": "彭于晏，1982年3月24日出生于台湾省澎湖县，彭于晏毕业于不列颠哥伦比亚大学，加拿大籍华裔影视男演员、歌手", "labels": [[0, 3, "姓名"], [4, 14, "时间"], [24, 27, "姓名"]]} print(js["id"]) new_file = open("new.txt", "w", encoding="utf-8") name_lis
斯坦福NER模型训练
chloe1993的博客
06-06 2287
coreNLP是斯坦福大学开发的关于自然语言处理的工具，包含了命名实体识别、词性标注、分词器等等功能，功能强大使用方便。可以在官网上下载coreNLP系列文件：https://stanfordnlp.github.io/CoreNLP/index.html#download 并在本地进行安装，注意需要首先安装java。 可以在网上搜索相关安装教程，本文重点是介绍如何通过stanford NER C...
用Stanford NER训练自己的NER分类器
Wo xi Meiz
11-01 5771
官方FAQ世界观:关于训练自己的分类器的文档官方没有~~, 但可以看java doc啊, So总是有办法的; 比如至少可以看看CRFClassifier和NERFeatureFactory这两个类.训练数据集格式tab-隔开的方式, word token一列, 分类标签一列; 不能使用空格隔开, 也不能有多余的tab; 一个空行表示分隔一个文档(document), 这里一个文档可以指一个句子或者一
自然语言分析之命名实体识别_Stanford Named Entity Recognizer (NER)简单实例
11-29 1万+
Stanford Named Entity Recognizer (NER)是斯坦福大学自然语言研究小组发布的成果之一，主页是：http://nlp.stanford.edu/software/CRF-NER.shtml Stanford NER 是一个Java实现的命名实体识别（以下简称NER）)程序。NER将文本中的实体按类标记出来，例如人名，公司名，地区，基因和蛋白质的名字等。 NE
Entity-Recognition-In-Resumes-StanfordNER
05-10
斯坦福命名实体识别（Stanford Named Entity Recognizer, Stanford NER）是由斯坦福大学开发的开源工具，它基于条件随机场（Conditional Random Fields, CRF）模型，能够对英文文本进行实体分类。该工具支持预训练...
使用Stanford NER训练自己的model
CodingRabbit
12-12 4432
Standford NERStandford NER(Stanford Named Entity Recognizer )是斯坦福大学提供开源命名实体识别库，使用Java语言实现， 可以用来识别文本中的人名、地名、组织名称等实体。采用的是CRF分类器进行实体识别。使用Standford NER进行命名实体识别该过程参考官方文档 1. 下载源代码stanford-ner-2015-12-09.zip
stanford-ner-2018-10-16.zip
07-23
StanfordCoreNLP适用于以下情形: 一个具有广泛语法分析工具集成的NLP工具包； 一种广泛应用于生产中的快速、健壮的任意文本注释器； 一个现代化的具有全面高质量的文本分析功能的、定期更新的软件包
实例.net_经典例子400个
03-31
实例.net_经典例子400个
Named Entity Recognition (NER)原理与代码实例讲解
AI架构设计之禅
09-26 952
1. 背景介绍 1.1 问题的由来 在自然语言处理 (Natural Language Processing, NLP) 领域，命名实体识别 (Named Entity Recognition, NER) 是一项基础且重要的任务。它旨在识别文本中具有特定意义的实体，例如人名、地名、机构名、时间、日期等
stanfordNER
liuhongyue的博客
09-12 849
 stanford ner环境搭建： http://www.pythontip.com/blog/post/10042/ https://www.douban.com/note/321863709/ 一、使用StanfordNER 首先，需要下载StanfordNER工具包，点这里下载 还需要下载一个第三方工具包Pyner, 点这里下载 下载完成后，依次进行下列操
命名实体识别(NER)实战demo-LSTM+CRF
ZFour_X的博客
11-28 3669
命名实体识别（NER）实战demo：简介、项目资源、项目文件、代码运行过程的问题及解决方法
命名体识别（NER）实战---NLP技术
谁谓荼苦，其甘如荠
04-01 5198
命名体识别（Name Entity Recognition）是自然语言处理(Nature Language Processing)领域中比较重要的一个任务，几乎百分之50的和文本处理有关的项目中都会涉及到命名体识别。笔者认为其中最关键的原因是：从广义的角度来讲，如果把一句话比作一串珍珠的话,命名实体就是这串珍珠项链中的珍珠，句子的其他部分是把珍珠串起来的线。 举个例子： "小明在1992年从哈佛...
Stanford Named Entity Recognizer (NER) 斯坦福命名实体识别（NER）
技术践行者
04-28 5587
以下翻译内容来自：https://nlp.stanford.edu/software/CRF-NER.html About 关于 Stanford NER is a Java implementation of a Named Entity Recognizer. Named Entity Recognition (NER) labels sequences of words in a te...
在NER任务中CRF层的作用（例子）
qq_41384994的博客
06-23 1113
NER任务中CRF层的作用，具体举了一个例子
依据Stanford CoreNLP，写一个实例
最新发布
10-06
斯坦福CoreNLP是一个强大的自然语言处理工具包，它提供了一系列的模块用于文本分析，包括分词、词性标注、命名实体识别、依存句法分析等。以下是一个简单的Python示例，演示如何使用斯坦福CoreNLP对一段英文文本进行处理： ```python from stanfordcorenlp import StanfordCoreNLP # 初始化StanfordCoreNLP服务 nlp = StanfordCoreNLP('http://localhost:9000', annotators=['tokenize', 'ssplit', 'pos', 'ner']) # 待分析的英文句子 text = "John works at Google in California." # 进行分析 output = nlp.annotate(text) # 提取信息（例如词性标注） for sentence in output['sentences']: for token in sentence['tokens']: print(f"Token: {token['word']}, Part of Speech: {token['pos']}") # 关闭服务 nlp.close()
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值