Mynlp中的高性能、自动歧义识别的人名识别算法

最新推荐文章于 2023-08-25 10:34:06 发布
最新推荐文章于 2023-08-25 10:34:06 发布
阅读量1.1k 收藏 2
点赞数 3
分类专栏： NLP java 文章标签： 人名识别 NLP 感知机 序列标注
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jimichan/article/details/100693522
版权
Mynlp采用结构化感知机和序列标注模型进行人名识别，无需预先分词，能从文本中直接提取并识别歧义。在PKU数据集上，未考虑古汉语人名时，F1分数高达94.91。项目源码可在GitHub找到，调用简便，模型大小11.5M，内存占用45M。
摘要由CSDN通过智能技术生成

人名识别

Mynlp的人名识别是基于结构化感知机、序列标注模型的实现。独特之处在于特征函数和Label的设计和其他NLP工具的差别。

该人名识别算法是基于字符输入的，也就是说不需要预先分词，直接从文本中提取人名，
天然具有歧义识别。在PKU数据集上，最终F1达94.91，如果剔除古汉语人名的影响，F1可以更高。

Mynlp项目地址：
https://github.com/mayabot/mynlp

调用非常简单

<dependency>
  <groupId>com.mayabot.mynlp</groupId>
  <artifa
最低0.47元/天 解锁文章
jimichan
关注
专栏目录
mynlp：一个生产级，高性能，预定，可扩展的中文NLP工具包。（中文分词，平均感知机，fastText，拼音，新词发现，分词纠错，BM25，人名识别，命名实体，自定义词典）
02-03
mynlp：一个生产级，高性能，预定，可扩展的中文NLP工具包。（中文分词，平均感知机，fastText，拼音，新词发现，分词纠错，BM25，人名识别，命名实体，自定义词典）
探秘MynLP：新一代自然语言处理库的崛起
gitblog_00050的博客
04-14 434
探秘MynLP：新一代自然语言处理库的崛起 项目地址:https://gitcode.com/mayabot/mynlp MynLP 是一个由Mayabot团队开发的现代自然语言处理（NLP）工具包，旨在提供高效、易用且功能丰富的NLP解决方案。作为一个开源项目，MynLP以其深度学习为基础，对各类NLP任务提供了全面的支持，无论你是数据科学家、软件工程师还是机器学习爱好者，它都能成为你的得力助手...
使用Mynlp感知机实现拼音流切分
09-07 513
基于Mynlp提供的感知机框架，实现拼音流切分的感知机模型方案。附代码!
Java下的中文分词方案
AsterCass的博客
08-25 357
在博客网站构建的时候我们需要针对文章做检索，由于在检索的时候不可能检索所有文章的所有内容，所以我们采用关键词的检索，而且我们也需要将关键词放在网站的meta当中，提高网站在收索引擎中的权值。那么我们需要从文章中提取关键词的方案，首先想到的就是中文分词由于我们查找的关键词不是一般词语，而是相对来说比较偏技术的词语，而正常的可以生成词云的单词反而不是我们需要的对象，而这类技术词库要么自己训练，要么找现有的词库。训练的话目前没有那个时间和精力，找现有词库的话，目前中文的互联网技术词库也没有找到比较合适完善的。
[nlp] 命名实体识别中的中文名识别算法
张伟的专栏
04-29 2188
目录 命名实体识别 基于CRF的命名实体识别方法 SVM和最大熵相结合的中文机构名自动识别 中文名识别 盘古分词中的算法 预处理 消除歧义 总结 基于词典的实体识别 jcseg中文姓名识别算法 总结 HENU汉语分词系统中的中文人名识别算法 同姓异名对的冲突处理 局部回溯分词 基于支持向量机的中国人名的自动识别 基于可信度模型的中文人名识别研究 命名实体识别 命名实体识别是自然语言处理中的一项基础性工作，需要把.
基于matlab的文字识别算法-课程设计实用文档doc.doc
11-30
现有的文字识别算法存在一些问题，例如依赖于人工定义的特征、大多文字识别方法依赖于人工定义的特征、脱离上下文的字符识别易造成显著的歧义、简单的单词整体识别有着较大的局限性、训练样本制作繁琐等。...
基于BiLSTM-CRF网络的中文电子病历命名实体识别
最新发布
05-21
命名实体识别（Named Entity Recognition, NER）是自然语言处理（Natural Language Processing, NLP）中的核心任务之一，它旨在从文本中识别出具有特定意义的实体，如人名、地名、组织名等。在医疗领域，NER的主要...
用于中文分词的组合型歧义消解算法.doc
05-26
用于中文分词的组合型歧义消解算法.doc
三种中文分词算法优劣比较.docx
09-22
在实际应用中，许多分词系统会结合这三种方法，利用基于字符串匹配的算法进行初步分词，然后用基于统计的方法识别新词和消除歧义，以兼顾速度和准确性。这种方法称为混合分词，能够更好地适应不断变化的语言环境。
具有自动歧义推断和删除功能的多发人员重新识别
03-10
随着技术的发展，尤其是在深度学习领域的进步，研究人员正在开发新的算法来减少重识别中的歧义性，并增强对同一行人因不同摄像头视角变化导致的外观变化的鲁棒性。本文提出的系统是一种创新的尝试，结合了形状上下文...
my nlp cod
12-12
my nlp code , test
中文人名自动识别的一种有效方法
10-16
中文信息计算机自动处理的研究已有几十年的 历史 , 但至今仍有许多技术难题没有得到很好解 决 , 中文姓名自动识别问题就是其中的一个。由于 它与中文文本的自动分词一样 , 属于中文信息处理 的基础研究领域 , 因而它的研究成果直接影响到中 文信息的深层次研究。汉语的自身特点使得中文信 息自动处理大多是先对要处理的文本进行自动分词 (加入显式分割符) , 然后再在分词的基础上进行词 法、语法、语义等方面的深入分析。而在分词阶 段 , 文本中的人名、地名以及其它专有名词和生词 大多被切分成单字词 , 在这种情形下如不能很好地 解决汉语文本中专有名词生词的识别问题 , 将给其 后的汉语文本的深入分析带来难以逾越的障碍。中 文姓名的自动识别问题就是在这种背景下提出来 的。对这一问题的研究目前采用的技术中主要利用 以下几方面的信息: 姓名用字的频率信息、上下文 信息[1 ,2 ] 、语料库统计信息[2 ] 、词性信息等[3 ] 。本 文的方法是 , 首先对中文人名的构成、姓名用字的 规律及上下文文本信息特征进行充分分析 , 在此基 础上建立起两组规则集 , 将其作用于测试文本 , 获 得初步识别结果 , 再利用大规模语料库的统计信息 对初步识别结果进行概率筛选 , 设定合适的阈值 , 输出最终识别结果。经对 50 多万字的开放语料测 试 , 系统自动识别出 1781 个中文人名 , 在不同的 筛选阈值下获得 90 %以上的识别准确率 , 而召回 率高于 91 %。
python 如何识别字符串中的人名 ，如何识别一串拼音字符串以及韵母的提取 （一些方法整理）
资深码脓的博客
10-25 1万+
一、识别字符串中的人名或特定名词 笔者所用的是百度智能云提供的词法分析接口，它可以对字符串分词，并且能够识别句子中的人名，地名，等等。好，接下来教你们如何使用这个接口。 官网：https://cloud.baidu.com/product/nlp/lexical/?_=1571913586808 1.安装Python SDK 首先我们需要安装百度提供的sdk，以便我们在代码中使用它提供的的词...
基于分布式的短文本命题实体识别之----人名识别（python实现）
weixin_34179762的博客
07-13 1588
目前对中文分词精度影响最大的主要是两方面：未登录词的识别和歧义切分。 据统计：未登录词中中文姓人名在文本中一般只占2%左右，但这其中高达50%以上的人名会产生切分错误。在所有的分词错误中，与人名有关的错误占到了将近90%，这中国人名都是根据人的想法起的名字，有很大的随意性，并且数量巨大，规律也不尽相同。 1.理论简介 命名实...
NLP算法-命名实体识别
Albert_weiku的博客
10-25 6645
与自动分词、词性标注一样，命名实体识别也是自然语言处理的一个基础任务，是信息抽取、信息检索、机器翻译、问答系统等多种自然语言处理技术必不可少的组成部分。其目的是识别语料中人名、地名、组织机构名等命名实体。由于这些命名实体数量不断增加，通常不可能在词典中穷尽列出，且其构成方法具有各自的规律性，因此，通常把对这些词的识别在词汇形态处理（如汉语切分）任务中独立处理，称为命名实体识别（ Named Entities Recognition，NER ）
Mynlp发布ElasticSearch分词插件
09-17 654
Mynlp发布自带Elasticsearch分词插件，开箱即用。速度高达6.5M/秒。
自然语言处理(NLP) 一： 分词、分句、词干提取
热门推荐
smart boy
06-09 1万+
需要安装nltk自然语言处理包，anaconda默认已经安装了 还需要安装nltk语料库:http://www.nltk.org/data.html 自然语言基础知识： 1、分词 鱼香肉丝里面多放点辣椒 对称加密需要DES处理引擎 天儿冷了多穿点 Are you curious about tokenization ? Let’s see how it works! we ne...
NLP入门（三）词形还原（Lemmatization）
weixin_33963594的博客
11-02 3442
  词形还原（Lemmatization）是文本预处理中的重要部分，与词干提取（stemming）很相似。  简单说来，词形还原就是去掉单词的词缀，提取单词的主干部分，通常提取后的单词会是字典中的单词，不同于词干提取（stemming），提取后的单词不一定会出现在单词中。比如，单词“cars”词形还原后的单词为“car”，单词“ate”词...
对自然语言处理nlp的一点感想
02-20 9244
自然语言处理（nlp）作为计算机的一个研究方向存在已久，但是最近人工智能这一波热潮又让nlp重新得到巨大关注。由于处理对象是语言这一种人类特有的沟通工具以及其丰富巨大的信息量，给人一种错觉--似乎这是人工智能领域真正的皇冠，达到最终真正人工智能（强人工智能）的最近之路。但是事实是如何不敢随意断言，只是有点感慨一下，就是这一块很难做。语言作为人类的工具，一方面可以让我们与外界交互，可以说话，可以记录...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值