Mynlp中的高性能、自动歧义识别的人名识别算法

最新推荐文章于 2024-03-18 14:14:11 发布
最新推荐文章于 2024-03-18 14:14:11 发布
阅读量1.1k 收藏 2
点赞数 3
分类专栏： NLP java 文章标签： 人名识别 NLP 感知机 序列标注
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jimichan/article/details/100693522
版权
Mynlp采用结构化感知机和序列标注模型进行人名识别，无需预先分词，能从文本中直接提取并识别歧义。在PKU数据集上，未考虑古汉语人名时，F1分数高达94.91。项目源码可在GitHub找到，调用简便，模型大小11.5M，内存占用45M。
摘要由CSDN通过智能技术生成

人名识别

Mynlp的人名识别是基于结构化感知机、序列标注模型的实现。独特之处在于特征函数和Label的设计和其他NLP工具的差别。

该人名识别算法是基于字符输入的，也就是说不需要预先分词，直接从文本中提取人名，
天然具有歧义识别。在PKU数据集上，最终F1达94.91，如果剔除古汉语人名的影响，F1可以更高。

Mynlp项目地址：
https://github.com/mayabot/mynlp

调用非常简单

<dependency>
  <groupId>com.mayabot.mynlp</groupId>
  <artifa
最低0.47元/天 解锁文章
jimichan
关注
专栏目录
python 如何识别字符串中的人名 ，如何识别一串拼音字符串以及韵母的提取 （一些方法整理）
资深码脓的博客
10-25 1万+
一、识别字符串中的人名或特定名词 笔者所用的是百度智能云提供的词法分析接口，它可以对字符串分词，并且能够识别句子中的人名，地名，等等。好，接下来教你们如何使用这个接口。 官网：https://cloud.baidu.com/product/nlp/lexical/?_=1571913586808 1.安装Python SDK 首先我们需要安装百度提供的sdk，以便我们在代码中使用它提供的的词...
python识别中文人名_使用Python在NLP中的命名实体识别中提取人名
weixin_39784263的博客
11-29 2975
我有一句话,我需要单独识别人名：例如：sentence = "Larry Page is an American business magnate and computer scientist who is the co-founder of Google, alongside Sergey Brin"我使用下面的代码来识别NER.from nltk import word_tokenize, p...
中文人名自动识别的一种有效方法
10-16
中文信息计算机自动处理的研究已有几十年的 历史 , 但至今仍有许多技术难题没有得到很好解 决 , 中文姓名自动识别问题就是其中的一个。由于 它与中文文本的自动分词一样 , 属于中文信息处理 的基础研究领域 , 因而它的研究成果直接影响到中 文信息的深层次研究。汉语的自身特点使得中文信 息自动处理大多是先对要处理的文本进行自动分词 (加入显式分割符) , 然后再在分词的基础上进行词 法、语法、语义等方面的深入分析。而在分词阶 段 , 文本中的人名、地名以及其它专有名词和生词 大多被切分成单字词 , 在这种情形下如不能很好地 解决汉语文本中专有名词生词的识别问题 , 将给其 后的汉语文本的深入分析带来难以逾越的障碍。中 文姓名的自动识别问题就是在这种背景下提出来 的。对这一问题的研究目前采用的技术中主要利用 以下几方面的信息: 姓名用字的频率信息、上下文 信息[1 ,2 ] 、语料库统计信息[2 ] 、词性信息等[3 ] 。本 文的方法是 , 首先对中文人名的构成、姓名用字的 规律及上下文文本信息特征进行充分分析 , 在此基 础上建立起两组规则集 , 将其作用于测试文本 , 获 得初步识别结果 , 再利用大规模语料库的统计信息 对初步识别结果进行概率筛选 , 设定合适的阈值 , 输出最终识别结果。经对 50 多万字的开放语料测 试 , 系统自动识别出 1781 个中文人名 , 在不同的 筛选阈值下获得 90 %以上的识别准确率 , 而召回 率高于 91 %。
基于分布式的短文本命题实体识别之----人名识别（python实现）
weixin_34179762的博客
07-13 1588
目前对中文分词精度影响最大的主要是两方面：未登录词的识别和歧义切分。 据统计：未登录词中中文姓人名在文本中一般只占2%左右，但这其中高达50%以上的人名会产生切分错误。在所有的分词错误中，与人名有关的错误占到了将近90%，这中国人名都是根据人的想法起的名字，有很大的随意性，并且数量巨大，规律也不尽相同。 1.理论简介 命名实...
HanLP中人名识别分析详解
weixin_34400525的博客
12-05 157
在看源码之前，先看几遍论文《基于角色标注的中国人名自动识别研究》关于命名识别的一些问题，可参考下列一些issue:l·名字识别的问题 #387l·机构名识别错误l·关于层叠HMM中文实体识别的过程HanLP参考博客：词性标注层叠HMM-Viterbi角色标注模型下的机构名识别分词在HMM与分词、词性标注、命名实体识别中说：分词：给定一个字的序列，找出最可能的标签序列（断...
基于BiLSTM-CRF网络的中文电子病历命名实体识别
最新发布
05-21
命名实体识别（Named Entity Recognition, NER）是自然语言处理（Natural Language Processing, NLP）中的核心任务之一，它旨在从文本中识别出具有特定意义的实体，如人名、地名、组织名等。在医疗领域，NER的主要...
jieba识别中文人名实战记录及心得
Smile_Lai的博客
01-09 3099
我理解的jieba官方的目标是做最好的python中文分词组件,但是在网上一搜,很多文章直接说成了是最好的中文分词组件,我看是误解了原文意思,就目前来说jieba分词在解决中文歧义方面还是解决不了(接下来会通过代码实战说明),所以精确度不是最好,也就不能说是最好的中文分词组件了,在此做个记录以便后期找到更好的中文分词组件.现在这类自然语言处理模块越来越多,关于好不好而言,只能说没有最好,只有更好,因为每个中文分词组件都在更新和进步.
具有自动歧义推断和删除功能的多发人员重新识别
03-10
随着技术的发展，尤其是在深度学习领域的进步，研究人员正在开发新的算法来减少重识别中的歧义性，并增强对同一行人因不同摄像头视角变化导致的外观变化的鲁棒性。本文提出的系统是一种创新的尝试，结合了形状上下文...
论文研究-基于全切分算法的歧义识别与处理.pdf
09-12
ID3算法作为数据挖掘分类技术中的核心算法，有着构造简单、学习能力强、分类速度快等优点。但由于其沿用的是机器学习算法，处理的数据集规模小且与数据库集成性较差，影响了其实用性。在继承原有算法思路的基础上，...
自然语言处理-人名识别
05-15
采用统计与规则相结合的混合策略，提出一种中国人名的自动识别方法．该方法利用知识库中的统计信息，对 中国人名作初步的提取，分析中国人名构成的内部特征和外部特征，提取出特征集，并总结出相应的识别规则，对候选人名进 行识别．在此基础上构建了一个中国人名识别系统，并对系统进行了测试，实验表明了算法的可行性和有效性
GenderGuesser：一种算法，可以通过NLP统计猜测来回答姓名是男性还是女性
02-22
性别猜测者 一种算法，可以通过NLP统计猜测来回答姓名是男性还是女性。 该项目是我在Microsfoft的自然语言处理（NLP）课程中获得认证的一部分，受到其所呈现内容的极大启发。 创建的Jupyter Notebook有大量文档，可在找到。
my nlp cod
12-12
my nlp code , test
[nlp] 命名实体识别中的中文名识别算法
张伟的专栏
04-29 2179
目录 命名实体识别 基于CRF的命名实体识别方法 SVM和最大熵相结合的中文机构名自动识别 中文名识别 盘古分词中的算法 预处理 消除歧义 总结 基于词典的实体识别 jcseg中文姓名识别算法 总结 HENU汉语分词系统中的中文人名识别算法 同姓异名对的冲突处理 局部回溯分词 基于支持向量机的中国人名的自动识别 基于可信度模型的中文人名识别研究 命名实体识别 命名实体识别是自然语言处理中的一项基础性工作，需要把.
NLP算法-命名实体识别
Albert_weiku的博客
10-25 6584
与自动分词、词性标注一样，命名实体识别也是自然语言处理的一个基础任务，是信息抽取、信息检索、机器翻译、问答系统等多种自然语言处理技术必不可少的组成部分。其目的是识别语料中人名、地名、组织机构名等命名实体。由于这些命名实体数量不断增加，通常不可能在词典中穷尽列出，且其构成方法具有各自的规律性，因此，通常把对这些词的识别在词汇形态处理（如汉语切分）任务中独立处理，称为命名实体识别（ Named Entities Recognition，NER ）
对自然语言处理nlp的一点感想
02-20 9242
自然语言处理（nlp）作为计算机的一个研究方向存在已久，但是最近人工智能这一波热潮又让nlp重新得到巨大关注。由于处理对象是语言这一种人类特有的沟通工具以及其丰富巨大的信息量，给人一种错觉--似乎这是人工智能领域真正的皇冠，达到最终真正人工智能（强人工智能）的最近之路。但是事实是如何不敢随意断言，只是有点感慨一下，就是这一块很难做。语言作为人类的工具，一方面可以让我们与外界交互，可以说话，可以记录...
NLP入门（三）词形还原（Lemmatization）
weixin_33963594的博客
11-02 3439
  词形还原（Lemmatization）是文本预处理中的重要部分，与词干提取（stemming）很相似。  简单说来，词形还原就是去掉单词的词缀，提取单词的主干部分，通常提取后的单词会是字典中的单词，不同于词干提取（stemming），提取后的单词不一定会出现在单词中。比如，单词“cars”词形还原后的单词为“car”，单词“ate”词...
python识别中文人名_中文人名识别
weixin_39621860的博客
11-29 6414
中文姓名的构成规律中文姓名一般由二字或三字组成，第一字为姓氏字（复姓为前两字），其后的一到两个汉字为名用字。统计表明，中文姓名在用字上也有一定规律：一方面某些字频频出现在姓名中，如在姓氏用字中，虽然姓氏辞典中列举了几千个姓氏字，但目前实际使用的不过几百个，而张、王、李、赵、刘5个姓竟占了32%；另一方面，某些字又从不被用作姓名用字，如最、仅、 紧、以、且等字。 根据这一特性，首先从一个含有1万多个...
【NLP7-使用RNN模型构建人名分类器】
weixin_34280060的博客
03-18 887
每个 txt 文件中含有很多姓氏名，每个姓氏名独占一行，有些语言使用的是 Unicode 码（含有除了26 英文字母以外的其他字符），我们需要将其统一成 ASCII 码。准备训练 RNN 在训练前，我们把求所属语言类别的索引值方法封装成函数category_from_output。该函数输出：语言类别、语言类别索引值。再国际化业务中，用户注册过程中，会根据用户填写名字直接给他分配可能的国家或地区选项，以及该国家或地区的国旗，限制手机号码位数等等。②、对data文件中的数据进行处理，满足训练要求。
藏文人名识别研究：层次特征与CRF算法的应用
最后，人名的并列关系特征是指在藏文中，某些人名可能由两个或更多部分并列组成，通过识别这种结构，可以进一步提升识别性能。 条件随机场（CRF）是一种常用的序列标注模型，它能够考虑整个序列的信息，而非单个...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值