自然语言处理-命名实体识别的预料优化

最新推荐文章于 2024-03-23 00:56:53 发布
最新推荐文章于 2024-03-23 00:56:53 发布
阅读量763 收藏 1
点赞数 1
分类专栏： 自然语言处理 文章标签： 命名实体 语料
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/cyz52/article/details/95760418
版权

本文主要是针对https://github.com/Determined22/zh-NER-TF 这个开源工程中的一个ner语料进行优化
在这里插入图片描述
非常标准的命名实体识别语料，语料的质量也是非常的高。
但是有个小问题
语料对于人物的标注，有非常多带称谓的人物只标注的姓
导致识别到非常多单字的姓效果非常差。
例如张女士、和张师傅识别结果都是张、张。
但我认为称谓也应该附带上
这边我花了两天时间，对语料中大约八百处标注进行了修改
原始语料
在这里插入图片描述在这里插入图片描述
修改之后
在这里插入图片描述
在这里插入图片描述
识别结果对比
语料修改之前的识别效果
在这里插入图片描述

修改之后的重新训练的识别结果

最低0.47元/天 解锁文章
菜园子哇
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
zh-NER-TF：用于中文命名实体识别的非常简单的BiLSTM-CRF模型中文命名实体识别（TensorFlow）
02-06
用于中文命名实体识别的简单BiLSTM-CRF模型 该存储库包含用于为中文命名实体识别任务构建非常简单的基于字符的BiLSTM-CRF序列标签模型的代码。 其目标是识别三种类型的命名实体：PERSON，LOCATION和ORGANIZATION。 这段代码可在Python 3和TensorFlow 1.2上运行，以下存储库给了我很多帮助。 模型 此模型类似于论文[1]和[2]提供的模型。 其结构如下图所示： 对于一个中文句子，该句子中的每个字符都有/将具有属于{O，B-PER，I-PER，B-LOC，I-LOC，B-ORG，I-ORG}集的标记。 第一层是查找层，旨在将每个字符表示从一个
推荐项目：基于TensorFlow的中文命名实体识别（NER）
最新发布
gitblog_00001的博客
03-23 312
推荐项目：基于TensorFlow的中文命名实体识别（NER） 项目地址:https://gitcode.com/Determined22/zh-NER-TF 介绍 本项目是一个基于TensorFlow的中文命名实体识别（NER）工具，能够自动识别中文文本中的人名、地名、组织机构名等命名实体。该项目的源代码托管在GitCode上，链接如下： https://gitcode.com/Determin...
NER 模型
醉意流年go的博客
07-10 600
github上的NER模型（中文） https://github.com/XierHacker/ChineseWordSegment https://github.com/Determined22/zh-NER-TF https://github.com/baiyyang/medical-entity-recognition https://github.com/hontsev/Chine...
命名实体识别NER-bilstm+crf
yuansaijie0604的专栏
10-17 4450
文章目录1.数据预处理1.1 整理数据，划分数据集1.2 构建字典1.3 构建标签字典2.流程2.1 网络架构图2.2 代码架构图3.运行4.部分函数详解4.1 训练阶段数据大小4.2 CRF层的输入和输出是什么样子的4.3 demo中utils.get_entity的输入和输出是什么样子的5.实验结果 学习对象： https://github.com/Determined22/zh-NER-TF...
实体识别（一）几种NER深度学习模型效果对比IDCNN+BERT+BiLISTM+CRF
热门推荐
ai_1046067944的专栏
01-31 1万+
纯实现上对比几种NER深度学习模型效果（有不严谨的地方：数据集、模型规模等），代码来源于Github上大神的贡献。 实现上有三种模型 对比 模型 IDCNN+CRF BiLSTM+CRF(1) BiLSTM+CRF(2) BERT+BiLSTM+CRF 参考文献 文献[3] 文献[3] 文献[4] 文献[2] 数据集 100w字符...
NLP（自然语言处理）命名实体识别代码详细步骤示例
08-15
然后，我们定义了一个待处理的文本，其中包含了一些命名实体。接下来，我们使用加载的模型对文本进行NER，得到一个Doc对象。 在代码的下一部分，我们使用doc对象中的token属性遍历每个单词，并打印出其文本、词形...
自然语言处理数据集（NLP）-中文命名实体识别数据集.rar
11-12
自然语言处理（NLP）是计算机科学领域的一个重要分支，主要关注如何使计算机理解、解析、生成和操作人类自然语言。在NLP中，中文命名实体识别（Chinese Named Entity Recognition, CNER）是一项核心任务，它涉及到从...
人工智能自然语言处理应用-基于HMM与CRF的命名实体识别
01-12
自然语言处理（NLP）是信息技术领域中的一个重要分支，它主要关注如何使计算机理解、解析、生成人类自然语言。在NLP中，命名实体识别（NER）是一项基础但至关重要的任务，它的目标是从文本中识别出具有特定意义的...
自然语言处理课程实验：基于LSTM的命名实体识别
05-24
实验:基于LSTM的命名实体识别 数据处理 给每个实体类型进行编号、给每个单词进行编号 文本填充 使用标识符，将所有序列处理成同样长度 训练流程 给每个输入和其对应编号建立一个张量 构成训练批 输入LSTM单元 输入...
MSRA-NER 中文命名实体识别
04-09
命名实体识别（Named Entity Recognition, NER）是自然语言处理（NLP）领域的一个关键任务，它涉及到从文本中抽取出具有特定意义的实体，如人名、地名、机构名等。在中文环境下，这一任务尤为复杂，因为中文字符没有...
BILSTM + CRF FOR NER
09-03
BILSTM + CRF FOR NER
命名实体识别的语料和代码（部分）
qq_19072921的博客
04-01 1261
1.用规则做命名实体识别 原文：用规则做命名实体识别——NER系列（一） 这篇博文就不放出代码了，因为现在基本上不用规则做命名实体识别，当然除非你在某些特定的语料有规律，就完全可以用正则表达式来做。 2.用HMM做命名实体识别 原文：用隐马尔可夫模型(HMM)做命名实体识别——NER系列（二） 代码和语料：https://github.com/lipengfei-558/hmm_ner_organization 3.用CRF做命名实体识别 原文：用CRF做命名实体识别——NER系列（
命名实体识别入门教程
caixiaobaideye的博客
05-09 864
转载自：https://www.cnblogs.com/jfdwd/p/11149794.html 虽然网上有很多相关代码，但实际如何入门材料较少，故整理下： CRF：先期可以用人民日报语料库去做，步骤如下: https://blog.csdn.net/hudejun007/article/details/38820929 理解CRF++ http://www.jkeabc.com/303251.html 安装CRF++ http://zhuanlan.51cto.com/art/201705/540693
lstm之命名实体识别ner
weixin_43890188的博客
06-25 1503
在这里插入# 输入 # 构建loss函数 # 优化optimizer # run epoch import numpy as np import tensorflow as tf from tensorflow.contrib.rnn import LSTMCell from data import * train_data=read_corpus('/home/wyy/PycharmProje...
命名实体识别在行业应用中的优化
AGI通用人工智能之禅
03-23 767
非常感谢您的委托,我将以专业、深入、实用的技术博客文章来回应您的要求。本文将全面探讨命名实体识别在行业应用中的优化,为读者提供深度见解和实用价值。让我们开始吧! 1. 背景介绍 命名实体识别(Named Entity Recognition, NER)是自然语言处理领域的一项重要技术,它旨在从非结构化文本中识别和提取具有特定语义的命名实
【从入门到高阶】NLP 算法的流程、主要任务及涉及算法，全都囊括了(Python 实战)
Python数据挖掘
05-23 4669
NLP是人工智能领域历史较为悠久的领域，但由于语言的复杂性（语言表达多样性/歧义/模糊等等），如今的发展及收效相对缓慢。比尔·盖茨曾说过，“NLP是 AI 皇冠上的明珠。” 在光鲜绚丽的同时，却可望而不可及（…）。 为了揭开NLP的神秘面纱，本文接下来会梳理下NLP流程、主要任务及算法，并最终落到实际NLP项目（经典的文本分类任务的实战），喜欢记得收藏、关注、点赞。 完整代码、资料、技术交流文末获取 NLP主要任务及技术 NLP任务可以大致分为词法分析、句法分析、语义分析三个层面。具体的，本文按照单词-》句
TF-NER:
Twilightuse93的专栏
11-06 669
Golve: https://cloud.tencent.com/developer/article/1351318 https://blog.csdn.net/u014665013/article/details/79642083 LSTM-CRF: https://github.com/guillaumegenthial/tf_ner https://guillaumegenthial.git...
命名体识别（NER）实战---NLP技术
谁谓荼苦，其甘如荠
04-01 5075
命名体识别（Name Entity Recognition）是自然语言处理(Nature Language Processing)领域中比较重要的一个任务，几乎百分之50的和文本处理有关的项目中都会涉及到命名体识别。笔者认为其中最关键的原因是：从广义的角度来讲，如果把一句话比作一串珍珠的话,命名实体就是这串珍珠项链中的珍珠，句子的其他部分是把珍珠串起来的线。 举个例子： "小明在1992年从哈佛...
【NLP】命名实体识别（NER）的BiLSTM-CRF模型
jhoojhooablido
09-12 5967
目录 NER 的各种方法 基于字的BiLSTM-CRF模型 CRF层详解 Emission score Transition score CRF loss function 代码 模型效果 骚年，来一份“人民日报”吗？ 骚年，你搞懂了LSTM了没？ 有“人民日报”懂LSTM，我们就开车出发啦！ NER 的各种方法 对于NER 的各种方法基本上归于三类方法： ...
bilstm-命名实体识别
07-28
而命名实体识别（NER）是指在文本中识别出具有特定意义的实体，如人名、地名、机构名等。BiLSTM+CRF是一种经典的NER模型方案，其中CRF（条件随机场）用于对BiLSTM的输出进行标签解码，从而得到最终的实体识别结果。...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值