基于BERT的英文query实体识别模型

已于 2023-12-26 18:11:02 修改
阅读量750 收藏
点赞数 2
文章标签： bert
于 2022-12-01 17:42:48 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/duty19895417/article/details/128135818
版权

导读

本文主要从三个方面来介绍下本人2021年的上半年的工作，优化跨境电商的搜索相关性中的一块工作：搜索query实体理解，因为只有做好query实体理解这第一步，才能继续做很多后面相关性的事情。比如词改写，替换，扩展等。

  • 训练数据获取
  • 模型架构设计和优化
  • 线上工程化
  • 迭代和优化

一. 训练数据获取

我们都知道要训练一个模型，是少不了训练数据的。目前还没有一个很标准的英文电商实体的数据集，所以这个数据集只能靠自己建立了。基于我们对自己业务的理解，并参考国内电商业界的定义，我们定义了总共15类实体，品类，修饰，人群，品类修饰词，品牌，型号，IP， 颜色，材质，年龄，尺寸规格，款式元素，风格，功能功效，场景。

           品类：名词，在句子中代表某一种或者某一类商品

           人群：代表某一类人群（man woman baby lady ）

           品牌：代表品牌

           品类修饰词：该词本身表示某一品类，但是在句子中表示修饰作用，比如car perfume iphone case 里的car  iphone 

           型号：比如 iPhone 12 Samsung note 9中的12 和note 9 

           IP：影视，动漫，娱乐，音乐等的组合 人名 角色等，如black pink 

           颜色：就是颜色

           材质：服装类的布料材质，饰品的 金银等，家具的木材材质

           年龄：年龄，把英文中表示整个年龄的字符都标出来比如 10 years old,  age of 10，  1-10 years old 等

           尺寸规格：服装 鞋子家具的物品大小

           款式元素：表示物品的部分形状特征和组成元素，如 短袖 长袖

           风格：表示物品整体的特征，性感 可爱  修身 大码等

           功能功效：物品的某项功效，祛痘 美白 消毒 清洁，主要美妆类，家居类

           场景：物品的使用场合和地方，如厨房 户外 室内 聚会

           修饰：一般形容词，但是不包含以上类别形容词

有了实体定义之后，我们就应该想想从哪里获取标注数据。我们从日常用户搜索的query中随机抽取，当然要做一些筛选，比如去掉特别长尾的，像一个月就搜过一次的；去掉query特别长或者特别短的等。最终取了50000个待标注样本。有了标注数据，就要想如何省时省力完成数据的标注工作。最终我们采取内部提供工具，给外包标注的形式进行了整个数据的标注工作。

我们自己基于开源的标注工具doccano，搭建了一个内部的标注网站提供给外包公司，参考链接一站式文本标注工具doccano（你值得拥有） - 知乎。新的版本有更新，可以使用最新版本。我们建好标注工程，给到标注公司，规定大概某个时间点完成 。当然这里面还有校验工作，每天我们会安排公司内部业务同学对外包的新增标注进行抽检，如果准确率达不到标准，会要求他们重标或者重新培训。

五万条数据经历了差不多一个月时间全部标注完成。最终标注好后转换完成的数据格式：jordan 11 shoe;B_type E_type S_category，当然可以根据模型输入需要更改。

模型架构设计和优化

基于bert的强大理解能力，第一想法就是直接用bert来做实体识别，当然也有试过其他的，最后确实bert效果最好。代码参考：GitHub - dutyhong/spanbert。但由于通用的预训练的bert模型是基于比较正规的英文文本进行训练的，而搜索query中其实是有很多缩写，不规范英文单词的。这个时候需要把这些词加入词汇表中进行微调训练。我们最后根据这些词的搜索频率进行了筛选加入千级别个数的词生成新的词汇表。

解释上图的左边模型结构，模型结构在一般模型结构的基础上进行了一点优化。我们先用一个全连接网络来预测每个标注样本的所有实体词的开始token，然后将这个全连接的输出logits进行softmax和bert的输出进行合并输入下一个全连接来预测实体的结尾。为什么要这么设计呢，可以理解为有了整个query的信息和每个实体词的开始token信息，这样来预测每个实体词的结尾更加准确。而且这样可以避免一般模型结构中预测每个token的实体信息要更好。比如当实体比较长的时候，如steam coffee machine，只需开始steam和结尾machine准确就可以了。

有人问为什么选择模型改成这样呢。因为效果好啊，这个模型结构不管是召回还是准确都比一般的模型结构结果好3-4个点。最终模型准确率能达到88+%，在模型识别的基础上在加上一些规则，最终准确率是91%+。规则还是个好东西啊。

线上工程化

模型训练完成，接下来想的就是如何满足线上要求的情况下上线使用。为了和线上系统兼容并不增加其他系统的情况，本文采用了java调用onnx模型的方式进行线上调用。离线测试每个query的耗时为30-50ms之间，线上可以接受。代码参考：GitHub - dutyhong/onnxpredict。注意调用的时候一些内存泄漏问题。

迭代和优化

每个模型都有后续的迭代和优化的过程，为了每次优化badcase更加方便快捷，基于streamlit做了个前端页面可以让每个人都能来优化模型。

1. 标注待优化的样本，通过标注完上传待优化样本

2. 将待优化的样本和旧的样本组合成新的样本重新训练模型

3. 训练完成评估测试集结果，是否有较大差异(为了保证优化后的模型与之前模型不能有较大差异)

4. 查看优化样本的结果，为了分析模型优化之后对于待优化的case是否都已优化完成

5. 确认优化完成，同步模型到线上

duty19895417
关注
  • 2
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Multilingual_NER:将BERT应用于英语和俄语的命名实体识别
05-02
多语种_NER 关于 该存储库将应用于英语和俄语的命名实体识别。 目的是帮助机器翻译模型的开发人员分析和解决名称翻译中的模型错误。 更准确地说，这些NER模型将用作改进俄语-英语句子对之间的MT质量估计的管道的一部分。 在机器翻译中，命名实体是已知的挑战，特别是用斯拉夫语（例如俄语）识别名称提出了独特的挑战。 斯拉夫语名称的拼写会有所不同，具体取决于该名称在句子中所扮演的角色（有关更多详细信息，请参见Wikipedia上的）。 这意味着NER模型无法学会单独依靠拼写，就像许多英语名称（“ Smith”等）一样。 此外，俄语中的词序变化很大，因此模型也不一定要依赖位置提示。 由于翻译通常与其他信息提取和检索技术一起使用，因此，确保名称正确翻译对于增强MT模型以及基于它们的产品和服务的实用性尤其重要。 包含什么 回购包括： 原始和预处理数据，用于以英语和俄语微调BERT模型 为您量身定制
实体识别数据集：用于命名实体识别（NER）和实体识别任务的语料库集合。 这些带注释的数据集涵盖多种语言，域和实体类型
02-03
实体识别数据集：用于命名实体识别（NER）和实体识别任务的语料库集合。 这些带注释的数据集涵盖多种语言，域和实体类型
基于bert的命名实体识别任务（一）
donruo的博客
02-23 6227
自从bert提出后，nlp领域的预训练语言模型持续刷新各种任务榜单，各种预训练语言模型不断提出并更新迭代，最新的GPT3以千亿级的参数再次刷新了榜单任务。但是在工业界，bert的预训练+微调的任务模式还是在发挥一定的作用。因此本篇博客主要介绍在tf2.x的版本下使用bert模型进行命名实体识别任务。 bert模型的原理还是先简单介绍一下，主要从一下几个方面： 一、任务目标 bert的目标是学习大量的没有标注的语料数据，进而提取出语言模型，便于下游的微调任务。在训练的过程中主要有两个任务：其一是根据上下
搜索-Query理解(全)
01-06 6395
Query 模块： 纠错 分词 紧密度 同义词 词权重 实体词识别 意图识别 长尾 query 的多样性对于搜索系统来说是一个很大的挑战，原因有： ❶存在输入错误。例如上图中的错误 query "塞尔维雅" ( 塞尔维亚 )，对于这种错误我们希望系统能够自动的纠错； ❷存在表达冗余。例如输入 "孙子兵法智慧的现代意义"，在这个语境下，"智慧" 是一个无关紧要的词。如果强制去匹...
命名实体识别NER & 如何使用BERT实现
热门推荐
满腹的小不甘
11-14 1万+
目录 1、NER 简介 2. NER方法 2.1 传统机器学习方法：HMM和CRF 2.2 LSTM+CRF：BiLSTM-CRF 2.3 CNN+CRF：IDCNN-CRF 2.4BERT+（LSTM）+CRF：BERT实现 （1）获取BERT预训练模型 （2）修改 数据预处理代码：DataProcessor （3）构建模型：create_model （4） 模...
翻译：Towards Lingua Franca Named Entity Recognition with BERT（基于BERT的通用语命名实体识别）
weixin_42628991的博客
03-04 311
**基于BERT的通用语命名实体识别笔记整理**基于BERT的通用语命名实体识别摘要简介命名实体识别（NER）现存问题本文主要思想前期工作不不不 基于BERT的通用语命名实体识别 本文是关于学习Towards Lingua Franca Named Entity Recognition with BERT1 论文时翻译和笔记的记录，便于日后查看。 摘要 信息抽取是自然语言处理中的一项重要任务，它能够自动抽取数据以填充关系数据库。从历史上看，研究和数据是为英文文本生成的，随后几年是阿拉伯文、中文、荷兰文、西班
自然语言处理基于Bert的中文命名实体识别实战
10-07
课程目标：学习完本门课程，您将对自然语言处理技术有更深入的了解，彻底掌握中文命名实体识别技术。适用人群：自然语言处理从业者、深度学习爱好者课程简介：命名实体识别作为自然语言处理的基础技术之一，在自然语言处理上游各个任务（问答系统、机器翻译、对话系统等）重扮演者十分重要的角色，因此深入掌握命名实体识别技术，是作为自然语言处理从业者毕本技能，本课程理论与实践相结合，希望能给大家带来帮助。课程要求：（1）开发环境：Python3.6.5 Tensorflow1.13.1；（2）开发工具：Pycharm； （3）学员基础：需要一定的Python基础，及深度学习基础；（4）学院收货：掌握命名实体识别关键技术；（5）学院资料：见课程资料；（6）课程亮点：全程实战操作，徒手撸代码。
bert 实体识别
shlhhy的博客
08-19 1834
1. 训练语料 bert基于字进行训练，学习获取句子的上下文、语义信息等，具有较好的泛化性。 标注语料示例：非命名实体采用O表示，命名实体根据其属性进行标注，如ORG：组织机构，PER：人名等，可自行定义。实体的第一个字符采用 B- 进行表示，余下字符采用 I- 进行表示。 世 界 动 物 卫 生 组 织 的 英 文 简 称 为 什 么 。 B-ORG I-ORG I-ORG I-ORG I-ORG I-ORG I-ORG O O O O O O O O O 2 数据集说明 source：训练集中文，t
如何使用BERT进行实体识别：实现高效准确的实体链接
禅与计算机程序设计艺术
12-31 1030
1.背景介绍 实体识别(Entity Recognition，ER)，也被称为实体抽取(Entity Extraction)，是自然语言处理(NLP)领域中的一个重要任务。它涉及到识别文本中的实体(如人名、地名、组织机构名称等)，并将其标注为特定的类别。实体识别是自动化文本处理的关键技术，有广泛的应用，如信息检索、知识图谱构建、情感分析等。 传统的实体识别方法主要包括规则引擎(Rule-bas...
命名实体识别模型BERT-Bi-LSTM-CRF
u013250861的博客
05-27 5110
序列标注的命名实体识别众多方法中将CNN、RNN和BERT等深度模型与条件随机场CRF结合已经成为最主流和普遍的方法，在本篇文章中我们仅关注基于CRF的序列标注模型。[机器学习]：早期传统机器学习时代，除了利用人工规则的方法外，往往利用隐马尔科夫链HMM和条件随机场CRF进行实体标注；随着深度学习的发展，将CNN和RNN做为基本的文本特征编码器，更好的学习token或word的隐层表示，再利用CRF进行实体标签分类，Bi-LSTM-CRF是最常用和普遍的实体识别模型；[预训练模型]
基于bert的幽默识别预训练模型
07-04
幽默是一种特殊的语言表达方式，在日常生活中扮演着化解尴尬、活跃气氛、促进交流的重要角色。而幽默计算是近年来自然语言处理领域的新兴热点之一，其主要...本资源是基于基于bert的幽默识别模型，请结合我的博客使用！
基于BERT的端到端语音识别模型开发指南.pdf
08-08
- 语音识别:音频处理,BERT解码,得到文本识别结果。 - 模型部署:封装语音识别接口,支持容器化部署。 - 效果评估:WER评估识别准确率,抽样人工校验结果。 - 通过BERT语义建模与语音特征提取的结合,实现端到端的语音识别...
【BERT系列】——命名实体识别
01-07
本文是BERT实战的第二篇，使用BERT进行命名实体识别（序列标注类任务）。 1. 准备 1.1 环境 python 3.7； pytorch 1.3； transformers 2.3 （安装教程）； 1.2 数据 数据链接（链接：...
BERT-CH-NER：基于BERT的中文命名实体识别
02-03
基于BERT的中文数据集下的命名实体识别（NER） 基于tensorflow官方代码修改。 环境 Tensorflow：1.13 的Python：3.6 tensorflow2.0会报错。 搜狐比赛 在搜狐这个文本比赛中写了一个基准，使用了bert以及bert + ...
基于Bert+BiLSTM+CRF的中文命名实体识别
最新发布
05-21
基于BERT+BiLSTM+CRF的中文命名实体识别 (pytorch实现) 基本环境： python 3.8 pytorch 1.7.1 + cu110 pytorch-crf 0.7.2
NLP词性分析，实体分析，句法树构造（依存句法树分析）
jiangchao98的博客
07-30 1万+
使用scipy库 和 nltk库进行抽取单词的 词性信息 和 实体信息
hive底层原理 sql执行过程_Hive原理总结（完整版）
weixin_32745665的博客
12-30 1581
目录课程大纲(HIVE增强) 31. Hive基本概念 41.1 Hive简介 41.1.1 什么是Hive 41.1.2 为什么使用Hive 41.1.3 Hive的特点 41.2 Hive架构 51.2.1 架构图 51.2.2 基本组成 51.2.3 各组件的基本功能 51.3 Hive与Hadoop的关系 61.4 Hive与传统数据库对比 61.5 Hive的数据存储 62. Hive基...
nlp 命名实体识别 算法_Truecasing Pretraining 命名实体识别 NER
weixin_39625172的博客
11-28 289
在英文实体识别任务中，单词的大小写通常是判断实体的一个重要信号。有不少算法都可以在标准数据集上取得不错的效果，但是文本中字母的大小写不准确时效果会很差。本文介绍一种利用 Truecaser 进行命名实体识别的算法，Truecaser 可以预测句子中每一个字母是大写还是小写。1.前言Truecaser 可以判断句子中每个字母的大小写，将没有标好大小写或者大小写错误的句子传入 Truecaser 中，...
BERT 提取特征 (extract_features.py) 源码分析 代码简化
ling620的专栏
07-30 1万+
文章目录源码分析1. 输入参数2. 主流程3. read_examples4. convert_examples_to_features5. model_fn_builder()6. input_fn_builder代码简化 之前的文章介绍了如何使用Bert的extract_features.py去提取特征向量，本文对源码进一步的分析。 BERT之提取特征向量 及 bert-as-server的使...
基于bert的命名实体识别python代码
04-02
以下是一个基于BERT的命名实体识别Python代码示例： 首先，需要安装相应的库，包括torch、transformers和nltk： ``` !pip install torch !pip install transformers !pip install nltk ``` 然后，导入所需的库： ``` import torch from transformers import BertTokenizer, BertForTokenClassification import nltk nltk.download('punkt') from nltk.tokenize import word_tokenize ``` 接下来，加载预训练的BERT模型和tokenizer： ``` model = BertForTokenClassification.from_pretrained('bert-base-cased', num_labels=9) tokenizer = BertTokenizer.from_pretrained('bert-base-cased') ``` 在这里，我们使用了一个预训练的BERT模型（bert-base-cased），该模型具有104万个参数，并在大型文本语料库上进行了训练。模型的tokenizer也使用了相同的语料库。 然后，定义一个函数来执行命名实体识别： ``` def ner(text): # 标记化文本 tokenized_text = word_tokenize(text) # 应用BERT tokenizer input_ids = torch.tensor([tokenizer.encode(tokenized_text, add_special_tokens=True)]) # 对于BERT，我们需要将输入标记的标记位置（mask）设置为1 attention_mask = torch.ones(input_ids.shape) # 预测标记（实体类别） with torch.no_grad(): output = model(input_ids, attention_mask=attention_mask) # 获取预测标记的索引 predicted_tokens = torch.argmax(output[0], dim=2) # 将标记转换为实体类别 tags = [] for i in predicted_tokens[0]: tags.append(model.config.id2label[i.item()]) # 将标记和实体类别组合成元组 entities = [] for i in range(len(tokenized_text)): if tags[i] != 'O': entities.append((tokenized_text[i], tags[i])) return entities ``` 该函数接受一个字符串作为输入，并将其标记化为单词。然后，使用BERT tokenizer将单词转换为输入ID。对于BERT，我们还需要创建一个用于标记输入标记位置的注意力掩码。然后，我们使用预训练的BERT模型来预测每个标记的实体类别。最后，我们将标记和实体类别组合成元组，并将其作为输出返回。 现在，我们可以使用该函数来识别给定文本中的命名实体。例如： ``` text = "J.K. Rowling is the author of the Harry Potter series." entities = ner(text) print(entities) ``` 该代码将输出以下内容： ``` [('J.K.', 'B-PERSON'), ('Rowling', 'I-PERSON'), ('Harry', 'B-PRODUCT'), ('Potter', 'I-PRODUCT')] ``` 该输出表示在给定文本中找到了4个实体，其中2个是人名，2个是产品名称。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值