【Bert】（一）使用场景

已于 2022-03-03 10:10:37 修改
阅读量1k 收藏 4
点赞数
分类专栏： 自然语言处理NLP 文章标签： bert 自然语言处理 机器翻译
于 2022-03-01 15:41:22 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013066730/article/details/123207062
版权
本文介绍了BERT模型在NLP领域的应用，包括序列标注（命名实体识别，词性标注），文本分类，句子关系判断（蕴含与矛盾识别，相似度计算）以及生成式任务（机器翻译，问答系统，文本摘要）。通过官方代码示例，详细阐述了各个任务的数据标注、处理方法及原理。重点讨论了官方给出的句子蕴含判断和问答系统实例，并计划探讨命名实体识别任务。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

论文：https://arxiv.org/pdf/1810.04805.pdf

官方代码：GitHub - google-research/bert: TensorFlow code and pre-trained models for BERT

任务总结（归纳方式有待改善）

1、序列标注：分词，词性标注，命名实体识别（NER）

命名实体识别：找出一句话中的感兴趣实体，例如找一句话中的地址名，人名等。

分词：（还在学习中，请参考NLP ---分词详解（常见的五种分词技术二）_进击的菜鸟-CSDN博客_分词）。

词性标注：例如找出一句话中的名词，动词等。

2、分类任务：文本分类，情感计算

文本分类：例如判断淘宝的评价为正面的还是负面的。

情感计算：（还在学习中）。

3、句子关系判断：entailment（分类为蕴含或矛盾），相似度计算

entailment：（还在学习中）

相似度计算：例如判断两句话是否是同一个意思。

4、生成式任务：机器翻译，问答系统，文本摘要

机器翻译：（还在学习中）

问答系统：官方例子中，给定一句话和针对这段话的一个提问，答案是这段话中的一部分内容。这里不需要提炼概括。真实的问答系统什么样还不清楚，才开始学习NLP。

文本摘要：（还在学习中）

接下来的文章中主要讲解以下任务：

（1）官方例子：两句话是否含义相同

（2）官方例子：问答系统。给定一句话和针对这段话的一个提问，答案是这段话中的一部分内容。这里不需要提炼概括。

（3）命名实体识别（NER-BiLstm-CRF），一句话中找出地名、人名等。

每个任务按照：数据-->标注-->方法-->原理讲解。这样的顺序进行讲解。

参考

NLP的四大类任务 - FromZeroToOne - 博客园

自然语言处理(NLP)一些任务的总结 - 简书

文本处理Bert面试内容整理-BERT的应用场景有哪些？
不务正业的猿
03-05 652
例如，给定文本 "Apple Inc. was founded by Steve Jobs in Cupertino in 1976."，BERT可以识别出“Apple Inc.”（组织）、“Steve Jobs”（人名）、“Cupertino”（地点）和“1976”（日期）。BERT的应用场景非常广泛，涵盖了从文本理解到生成的各种任务。尽管BERT主要用于理解任务（例如分类、标注等），通过结合其他生成模型（如GPT），BERT也可以在生成任务中得到应用，尤其是在需要强大上下文理解的生成任务中。
bert模型能做什么？BERT模型的应用领域
m0_74693860的博客
06-25 5278
由于BERT的预训练模型可用性，它为各种NLP应用提供了强大的基础模型，并为领域专家和研究人员提供了便捷的工具。命名实体识别：BERT可以应用于命名实体识别任务，用于从文本中提取出具有特定意义的实体，如人名、地名、组织名等。它通过将待分类的文本输入到BERT模型中，利用模型学习到的上下文表示进行分类预测。通过将问题和文本段落作为输入，BERT可以提供与问题相关的答案，并具备对上下文的理解能力。通过将两个文本输入BERT模型，可以比较它们的上下文表示，并计算它们之间的相似度得分。
Bert及其变种和应用场景
04-09 2292
RoBERTa:https://zhuanlan.zhihu.com/p/103205929 使用动态mask FULL-SENTENCES without NSP 更大的bs 更大的byte-level BPE Soft-Masked BERT 修正网络是一个基于BERT的序贯多类标记模型 DistilBERT： 原理：这个的做法就是用蒸馏12层的BERT得到6层的DistilBERT，首先预训练好BERT，然后用训练BERT的大规模预料来蒸馏12层的BE...
BERT的几个可能的应用
山阴少年
06-07 5263
  BERT是谷歌公司于2018年11月发布的一款新模型，它一种预训练语言表示的方法，在大量文本语料（维基百科）上训练了一个通用的“语言理解”模型，然后用这个模型去执行想做的NLP任务。一经公布，它便引爆了整个NLP界，其在11个主流NLP任务中都取得优异的结果，因此成为NLP领域最吸引人的一个模型。简单来说，BERT就是在训练了大量的文本语料（无监督）之后，能够在对英语中的单词（或中文的汉字）给...
【深度学习】BERT的原理与应用（含完整代码）
最新发布
WSSsharon的博客
03-26 1447
Bert的结构和代码
bert模型及其应用场景分享
DAICONG’s Blog
06-21 4094
1. Transformer优缺点： 优点：（1）虽然Transformer最终也没有逃脱传统学习的套路，Transformer也只是一个全连接（或者是一维卷积）加Attention的结合体。但是其设计已经足够有创新，因为其抛弃了在NLP中最根本的RNN或者CNN并且取得了非常不错的效果，算法的设计非常精彩，值得每个深度学习的相关人员仔细研究和品位。（2）Transformer的设计最大的带来性能提升的关键是将任意两个单词的距离是1，这对解决NLP中棘手的长期依赖问题是非常有效的。（3）Transforme
结合业务场景案例实践分析，倾囊相授美团BERT的探索经验
Paper weekly
06-30 2621
Google 在 2018 年公布 BERT 的工作之后，引起了 NLP 学术圈以及工业界的极大关注。无论是在各个公司的应用场景中，还是在一些公开的 Benchmark 上，BERT 的...
BERT模型有哪些应用场景
借雨醉东风的博客
08-01 1148
文本摘要是从长文本中提取关键信息并生成简短摘要的过程。BERT可以用于文本摘要任务中，通过捕捉文本中的重要信息并生成相应的摘要。虽然BERT本身不是专门为文本摘要设计的模型，但通过结合其他生成模型或技术进行微调，可以构建出基于BERT的文本摘要系统。综上所述，BERT模型在NLP领域具有广泛的应用场景，从文本分类、命名实体识别到问答系统、语义相似度计算等多个领域都取得了显著的成绩。有意找工作的同学，请参考博主的原创：《面试官心得--面试前应该如何准备》，《面试官心得--面试时如何进行自我介绍》， 《
使用bert预训练模型微调实现命名实体识别任务
03-11
### 使用BERT预训练模型微调实现命名实体识别任务 #### 一、背景介绍与理论基础 **命名实体识别（Named Entity Recognition, NER）**是自然语言处理领域的一项关键技术，其目的是从文本中识别出具有特定意义的实体...
一行代码使用BERT生成句向量，BERT做文本分类、文本相似度计算
11-03
标题中的“一行代码使用BERT生成句向量，BERT做文本分类、文本相似度计算”揭示了BERT模型在自然语言处理（NLP）领域的广泛应用。BERT，全称为Bidirectional Encoder Representations from Transformers，是由Google...
tf2bert:一个使用tf2复现的bert模型库
03-28
**tf2bert: 使用TensorFlow 2.x 实现的BERT模型库** `tf2bert` 是一个基于Python的开源库，专门用于在TensorFlow ...通过这个库，用户可以深入理解BERT模型的工作原理，并将其应用于各种实际场景，推动NLP技术的发展。
人工智能应用场景案例：使用BERT进行跨领域情感分析
人工智能讲师分享前沿技术
08-13 1097
这是ACL2020上的一篇长文，作者来自北京邮电大学。 这篇文章将BERT模型用在跨领域情感分析上，所使用的方法并没有非常新颖，不过实验和分析倒是挺多的。 大体思路 这篇文章所研究的“跨领域情感分析”，旨在通过源领域的标注数据对目标领域的无标注数据进行情感分类。源领域如餐饮领域，目标领域如电子产品领域，这两个领域之间存在一定的差异。为了克服领域间的差异，一大类工作的思路是在特征抽取阶段，抽取领域不变的特征。比如以下两个句子中，“不错”则是领域不变的特征，而“清晰”和“周到...
BERT的应用
baidu_15113429的博客
08-02 468
tf.train.Example的用法 tf.train.Example主要是生成二进制文件 TFRecord + Dataset BERT使用上面的方法对训练数据和测试数据生成二进制文件并进行读取 tf.estimator.Estimator BERT使用Estimator对训练和预测进行封装（详细查询使用的好处） tf.estimator.EstimatorSpec讲解 !!B...
Bert应用
技术践行者
06-11 1238
Bert应用 摘自https://zhuanlan.zhihu.com/p/68446772 第一，如果NLP任务偏向在语言本身中就包含答案，而不特别依赖文本外的其它特征，往往应用Bert能够极大提升应用效果。 第二，Bert特别适合解决句子或者段落的匹配类任务。就是说，Bert特别适合用来解决判断句子关系类问题，这是相对单文本分类任务和序列标注等其它典型NLP任务来说的，很多实验结果表...
中文应用bert
HONG.1948
04-11 1340
中文应用bert 调用腾讯AILab 实验室开源的bert-as-service代码 首先下载bert中文预训练模型 环境配置 pip install bert-serving-server # server pip install bert-serving-client # client, independent of `bert-serving-server` 启动bert-servi...
BERT深度学习基准模型特点与应用
06-28 742
BERT（Bidirectional Encoder Representations from Transformers）是自然语言处理（NLP）领域的一个突破性模型，由Google的研究团队于2018年提出。BERT属于预训练模型，其核心在于通过大规模无监督文本数据预训练得到的深度双向 Transformer 编码器，能够为多种下游任务提供强大的语言表示能力。
（10-3）BERT ：BERT在文本分类任务中的应用
码农三叔
04-20 1301
BERT在自然语言处理（NLP）领域的成功应用广泛，它的预训练模型能够学到通用的语言表示，从而在各种NLP任务中取得了出色的性能。在本节的内容中，将通过具体实例展示BERT在常见NLP任务中的应用过程。
bert的运用（简单易懂，巨好必看）
weixin_43977748的博客
06-20 7929
转载 BERT基于所有层中的左、右语境进行联合调整，来预训练深层双向表征。只需要增加一个输出层，就可以对预训练的BERT表征进行微调，就能够为更多的任务创建当前的最优模型。 1.预训练模型 BERT是一个预训练的模型，那么什么是预训练呢？举例子进行简单的介绍 假设已有A训练集，先用A对网络进行预训练，在A任务上学会网络参数，然后保存以备后用，当来一个新的任务B，采取相同的网络结构，网络参数初始化的时候可以加载A学习好的参数，其他的高层参数随机初始化，之后用B任务的训练数据来训练网络，当加载的参数保持不变时，
BERT详解：概念、原理与应用
ffffffffhh的博客
03-30 5314
BERT详解：概念、原理与应用
bert使用
03-08
### 使用 BERT 框架进行自然语言处理实践 #### 安装依赖库 为了使用 Hugging Face 的 Transformers 库来操作 BERT，需先安装必要的 Python 包。 ```bash pip install transformers torch ``` #### 加载预训练模型与分词器 加载一个预训练好的 BERT 模型及其对应的分词器是开始任何基于 BERT 的 NLP 项目的首要步骤[^1]。 ```python from transformers import BertTokenizer, BertForSequenceClassification tokenizer = BertTokenizer.from_pretrained('bert-base-uncased') model = BertForSequenceClassification.from_pretrained('bert-base-uncased', num_labels=2) ``` #### 文本编码 将待分析的文本转换成适合喂给 BERT 输入的形式。这一步骤涉及到了对原始字符串数据执行标记化、添加特殊字符（如 `[CLS]` 和 `[SEP]`）、填充序列至固定长度等操作。 ```python text = "This is a sample sentence." inputs = tokenizer(text, return_tensors="pt", padding=True, truncation=True, max_length=512) print(inputs["input_ids"]) ``` #### 执行推理 一旦准备好了输入张量，则可以直接将其传递给已加载的模型实例来进行前向传播计算并获取输出结果。对于分类任务而言，通常会关注最后一层全连接层之后得到的概率分布向量。 ```python outputs = model(**inputs) logits = outputs.logits predicted_class_id = logits.argmax().item() print(predicted_class_id) ``` #### 微调 BERT 模型 针对具体应用场景下的定制需求，可以通过提供标注过的样本集进一步调整参数权重以优化性能表现。此过程中涉及到的数据预处理方式应当保持一致以便于迁移学习的有效实施。 ```python import torch from datasets import load_dataset from transformers import Trainer, TrainingArguments dataset = load_dataset("glue", 'mrpc') training_args = TrainingArguments( output_dir="./results", evaluation_strategy="epoch", per_device_train_batch_size=8, per_device_eval_batch_size=8, num_train_epochs=3, weight_decay=0.01, ) trainer = Trainer( model=model, args=training_args, train_dataset=dataset['train'], eval_dataset=dataset['validation'] ) trainer.train() ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值