Improving Named Entity Recognition for Chinese Social Media with Word Segmentation Representation Le

最新推荐文章于 2022-09-10 10:57:33 发布
最新推荐文章于 2022-09-10 10:57:33 发布
阅读量683 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： NLP 文章标签： 中文NER python 机器学习 nlp 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/YW_Vine/article/details/106481816
该文提出将分词模型与NER模型融合训练，以增强中文社交媒体的命名实体识别效果。通过LSTM-CRF结构，利用字符的词性embedding、字符embedding及分词模型的隐藏层输出作为特征，论文和代码链接已提供。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

简介

文章主要贡献将训练分词的模型(单向LSTM-CRF)与NER的训练合并来试图提高NER模型的性能。
论文地址: https://arxiv.org/pdf/1603.00786.pdf
代码gitlab地址: https://github.com/hltcoe/golden-horse

模型结构

模型的总体结构如下：
模型结构图
左边是中文分词的模型结构(LSTM+CRF)，右边是NER的模型结构，NER模型的CRF前面的最后一层主要使用了三个特征：

  • 字符的词性embedding
  • 字符的embedding，即分词使用的字符embedding
  • 分词模型中每个字符对应的隐藏层的输出(分词模型CRF层前面的一层输出)

训练时的目标函数如下：
在这里插入图片描述
第一项表示分词模型的损失函数，第二项表示NER的损失函数，λ\lambdaλ表示权重，一般更关注NER的结果所以一般

最低0.47元/天 解锁文章

200万优质内容无限畅学
企业AI Agent的跨模态学习：融合非结构化数据的决策支持
AI天才研究院
02-22 963
AI天才研究院是一个专注于人工智能技术研究和应用的领先机构，致力于推动人工智能技术在企业、医疗、教育等领域的创新和应用。研究院拥有一支由全球顶尖的人工智能专家、研究员和工程师组成的团队，他们在机器学习、深度学习、自然语言处理等领域拥有丰富的经验和深厚的学术背景。: 该书是计算机科学领域的经典之作，由著名计算机科学家Donald E. Knuth撰写。书中结合了东方禅宗哲学和计算机编程的智慧，提供了深刻的编程思想和技巧，对于提高编程能力和软件设计水平具有重要的指导意义。
A Survey on Deep Learning Techniques Applied to medical image analysis
AI天才研究院
08-13 482
作者：禅与计算机程序设计艺术 Introduction:Deep learning techniques have recently gained popularity in medical image analysis because they are capable of accurately identifying disease markers without relying on human intervention, enabling better decision-making and tre
Improving Named Entity Recognition for Chinese Social Media with Word Segmentation 阅读笔记
sendoh的博客
03-06 836
文章目录Improving Named Entity Recognition for Chinese Social Media with Word Segmentation Representation Learning(利用分词表示学习改进中文社交媒体命名实体识别)AbstractIntroductionModelParameter EstimationExperiments and AnalysisDiscussion Improving Named Entity Recognition for Chi
Named Entity Recognition for Chinese Social Media with Jointly Trained Embeddings
咖乐部
11-22 469
Named Entity Recognition for Chinese Social Mediawith Jointly Trained Embeddings 一、研究对象：中文社交媒体信息的命名实体识别。命名实体识别是一个非常重要的组成部分，是关系抽取和实体联系的第一步 二、对象特点： 三、问题描述： 1.NER for Chinese Social Media：和其他语言一样，社交媒体信息对于命名实体识别存在很多问题，例如贫血错误，新颖词汇，没有语法结构。而汉语存在更多的挑战。1.缺少一个此.
EMNLP-20-Named Entity Recognition for Social Media Texts with Semantic Augmentation-token级别语义增强
Hekena的博客
09-10 337
但中间gate module融合了外部信息，具体是，针对句子中的每个token，根据token的embedding的相似度计算，找到最相近的前k个，然后，做注意力计算，加权得到相应的表示，在和原来的context 的embedding组合形成最终用于CRF的hidden state。我们首先根据它们预先训练的嵌入来提取令牌中最相似的词。然后，增强模块使用注意机制对提取的单词所携带的语义信息进行加权。之后，利用加权语义信息通过门模块增强主干模型。
一种面向社交媒体文本中命名实体识别方法
u012032041的博客
02-20 946
#1 前言 在微博、Twitter之类的社交媒体上，用户产生的大量短文本中包含各种类型的实体，这类实体的识别难度更大，因为有些实体的书写并不符合正常的语法习惯，如被用户随心缩写，导致这类实体出现的概率很小，呈现稀疏性。针对以上问题，本文介绍一种最新的识别模型，核心思想是提出语义扩充的方式来增强命名实体的识别效果，该模型发表在2020年EMNLP会议上，题目为：《Named Entity Recognition for Social Media Texts with Semantic Augmentation
美团BERT的探索和实践
04-18 2116
他山之石，可以攻玉。美团点评NLP团队一直紧跟业界前沿技术，开展了基于美团点评业务数据的预训练研究工作，训练了更适配美团点评业务场景的MT-BERT模型，通过微调将MT-BERT落地到多个业务场景中，并取得了不错的业务效果。 背景 2018年，自然语言处理（Natural Language Processing，NLP）领域最激动人心的进展莫过于预训练语言模型，包括基于RNN的ELMo[1]和...
Named Entity Recognition for Chinese Social Media with Jointly Trained Embedding 笔记
qq_43708647的博客
03-29 417
摘要 中文NER主要针对正式文本，对于社交媒体的NER主要在英语上，本文标注了一个新的微博数据集，标注有名称和一些名词性提及 1.介绍 一个中文NER 传统是利用lexical embedding来提高NER性能，然而不像其他语言，我们不能使用自动分词来为中文单词赋值一个Embedding,这是不可信的，所以中文NER model都tag word 2.NER for Chinese Social Media 社交媒体的不正式性很明显对NLP系统造成了重大的困难，例如拼写错误，新颖的词以及非语法构造。中文也
《A Multi-task Approach for Named Entity Recognition in Social Media Data》论文笔记
Amy_mm的博客
06-11 1346
《A Multi-task Approach for Named Entity Recognition in Social Media Data》 1. 摘要： 社交信息的缺点：固有的噪声信息；不当的语法结构；拼写不连续以及大量的缩写词 多任务框架： 使用命名实体分割的辅助任务和细粒度的命名实体分类的主要任务进行联合训练 优点：多任务学习能够从字词序列、语法信息和地名词典信息中学习到更高阶的特征。...
透过20篇最新论文把握ACL 2020的研究动态（ACL是NLP领域的最顶尖国际会议）.zip
04-10
自然语言处理顶会ACL 2020在本周公布了接受论文的结果，本文整理了20篇已录用的高水平论文，分别来自世界各地顶级学术单位，涉及BERT、表示学习、对话、偏见等，大家来看下NLP领域最新研究是什么。
ACL2021 | 信息抽取相关论文
Kaiyuan_sjtu的博客
07-16 2695
今日ACL2021放出长文接受列表了（可点击【阅读原文】查阅），JayJay对信息抽取论文做了分类汇总，希望对大家有所帮助～一、实体抽取“实体抽取主要涉及嵌套NER、非连续NER、中文&a...
[论文笔记]ACL-2021-Improving Named Entity Recognition by External Context Retrieving and Cooperative
qq_40887371的博客
03-31 2501
[论文笔记]ACL-2021-Improving Named Entity Recognition by External Context Retrieving and Cooperative Learning 作者利用外部上下文检索和合作学习改进命名实体识别 ​ 命名实体识别（NER）的最新进展表明,利用文档级的文本信息可以提升实体识别效果，但在很多应用场景下并没有可用文档的信息。 ​ 针对此问题，作者提出利用搜索引擎检索和选择一组语义相关的文本，以原始句子作为查询，来查找句子的外部上下文，接着使用R
文本信息抽取模型介绍——实体抽取方法：NER模型（下）
INTSIG的博客
07-04 5161
将深度学习技术应用于NER有三个核心优势。首先，NER受益于非线性转换，它生成从输入到输出的非线性映射。与线性模型（如对数线性HMM和线性链CRF）相比，基于DL的模型能够通过非线性激活函数从数据中学习复杂的特征。第二，深度学习节省了设计NER特性的大量精力。传统的基于特征的方法需要大量的工程技能和领域专业知识。另一方面，基于DL的模型可以有效地从原始数据中自动学习有用的表示和底层因素。第三，通过梯度下降，可以在端到端的范式中训练深层神经NER模型。该特性使我们能够设计可能复杂的NER系统。......
ACL2021 信息抽取相关论文汇总
朝闻道
02-15 1051
一、实体抽取 实体抽取主要涉及嵌套NER、非连续NER、中文&多模NER、少样本NER、实体标准化、实体分类等； 嵌套&非连续NER A Span-Based Model for Joint Overlapped and Discontinuous Named Entity Recognition Locate and Label: A Two-stage Identifier for Nested Named Entity Recognition Nested Named Ent
【ACL2021】基于边界检测增强的中文命名实体识别
zenRRan的博客
09-01 4549
点击下面卡片，关注我呀，每天给你送来AI技术干货！来自：复旦DISC作者：石霭青引言命名实体识别（Named Entity Recognition，NER）是自然语言处理领域的一个基础任务...
【NLP】ACL-2019 录用论文
热门推荐
zkq_1986的博客
09-04 2万+
LONG PAPERS (MAIN CONFERENCE) SphereRE: Distinguishing Lexical Relations with Hyperspherical Relation EmbeddingsChengyu Wang, XIAOFENG HE and Aoying Zhou Learning from Dialogue after Deployment: Fee...
一周新论文 | 2020年第13周 | 自然语言处理相关
语言智能技术笔记簿
03-29 3965
《一周新论文》系列之2020年第13周：自然语言处理相关
EMNLP2020中事件抽取/关系抽取/NER/少样本/MRC/摘要 论文分类整理
carrie_0307的博客
10-15 4186
事件抽取 主会 A Method for Building a Commonsense Inference Dataset based on Basic Events Affective Event Classification with Discourse-enhanced Self-training Biomedical Event Extraction as Sequence Labeling Connecting the Dots: Event Graph Schema Induct
dont forget to connect!Improving RAG with graph-based reranking帮我找这篇论文
最新发布
03-12
<think>好的，用户需要查找一篇关于通过图基重排序改进RAG的论文。首先，我需要确认用户的需求是什么。他们可能是在研究RAG（检索增强生成）的优化方法，特别是如何利用图结构来进行重排序，提升检索效果。用户提到“图基重排序”，这可能指的是利用图算法或图神经网络对检索到的文档进行重新排序，以提高生成质量。 接下来，我应该回忆一下相关的文献。RAG本身结合了检索和生成，但传统方法可能存在检索结果不够精准的问题，重排序技术可以优化这一点。图结构在信息检索中的应用，比如构建文档之间的关系图，或者利用图嵌入来捕捉文档间的语义关联，可能是一个研究方向。 然后，我需要检查提供的引用内容。引用[1]提到高级RAG技术，包括模块化框架，但没有直接提到图基重排序。引用[2]讨论了RAG的发展和应用场景，但同样没有具体提到图方法。引用[3]是一个原型应用的链接，可能不涉及论文内容。因此，提供的引用中可能没有直接相关的论文，需要引导用户去外部数据库查找。 不过，用户可能希望我根据现有知识推荐可能的论文方向或方法。例如，图神经网络（GNN）在文档重排序中的应用，或者知识图谱增强的RAG系统。此外，可以建议用户搜索关键词如“RAG graph-based reranking”、“GNN for document reranking”或“knowledge graph RAG”来查找相关论文。 另外，考虑到RAG的优化通常涉及检索器和生成器的协同改进，图基方法可能在检索阶段构建文档间的关系，或者在重排序阶段利用这些关系调整顺序。例如，使用PageRank算法或社区检测来评估文档的重要性，进而重新排序。这样的方法可能在信息检索领域有相关研究，用户可能需要查阅最近的顶会论文，如ACL、EMNLP、SIGIR等。 最后，确保回答符合用户的要求：结构清晰、分步解决问题，并引用提供的资料。由于提供的引用中没有直接相关的论文，需要如实告知，并给出建议的搜索方向和关键词，帮助用户自行查找。同时生成相关问题，如优化RAG的其他技术、图基方法的应用场景等。</think>根据您对图基重排序改进RAG的论文需求，结合当前RAG技术发展，以下是分步解答： 1. **研究领域定位** 图基重排序属于RAG技术中检索优化模块的改进方向，需聚焦"检索增强生成"与"图神经网络"交叉领域。引用[1]提到的模块化RAG框架中，重排序模块可作为独立算子存在，这为图算法的集成提供了理论支持[^1]。 2. **推荐搜索策略** - 关键词组合：`"RAG" + ("graph neural network" | "knowledge graph") + reranking` - 会议筛选：优先查看ACL/EMNLP/NAACL/SIGIR近三年论文 - 论文预印平台：arXiv.org使用筛选条件`cs.CL + cs.IR` 3. **相关技术线索** 虽然现有引用未直接提及图基重排序论文，但引用[2]指出模块化RAG支持路由、调度和融合机制的创新设计[^2]，这与图结构处理节点关系的能力高度契合。例如： - 使用图注意力机制建模文档间语义关联 - 基于社区发现算法优化检索结果聚类 $$ \text{NodeScore}(d_i) = \sum_{d_j \in N(d_i)} \alpha_{ij}Wv_j $$ 其中$d_i$为文档节点，$N(d_i)$是其邻居节点集 4. **实验性验证方法** 引用[3]提供的Mememo平台支持快速原型开发[^3]，可尝试： ```python # 伪代码示例：图基重排序实现 def graph_reranking(docs): graph = build_knowledge_graph(docs) scores = page_rank(graph) return sort_by_score(docs, scores) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值