13-NLP之Bert多分类实现案例(数据获取与处理)

已于 2024-01-06 15:19:54 修改
阅读量1.6k 收藏 7
点赞数 2
分类专栏： # 1. 自然语言处理&知识图谱 文章标签： 自然语言处理 bert 分类
于 2023-11-04 16:11:22 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_46713695/article/details/134219607
版权

文章目录

前言知识

一篇文章可以同时属于多个类别，而我们过去的多分类，虽然结果是多个类别，但是每个样本只能属于1个类别。
在这里插入图片描述
针对下图，以前，对于输出层来说，输出层有 5 个神经元。 我们认为是5个类别，通过softmax会生成5个类别的概率，我们取概率最大的那个，作为预测的结果。

但现在，针对下面的网络结构要做稍许的调整，针对最后一层，即【输出层】，每个神经元（单个神经元）有已知对应的sigmoid函数，每个神经元接入sigmoid之后，返回0或者1。如果是0.5以下，则代表当前类别不被选中。如果是0.5以上，则代表被选中。这样每个类别就有【选】和【不选】两种状态。合在一起，就是一个多分类的神经网络。
在这里插入图片描述

在这里插入图片描述

下面用知识图谱的数据做相关分析。三元组揭示了两个实体，或者实体和属性之间的关系，而这个关系，就是P的标签。
O是S的什么P，例如鲁迅是《呐喊》的导演；吴京是《战狼》的导演。
在这里插入图片描述

1. 代码解读

1.1 代码展示

import json
import numpy as np
from tqdm import tqdm

bert_model = "bert-base-chinese"

from transformers import AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained(bert_model)
# spo中所有p的关系标签 (text --> p label)
p_entitys = ['丈夫', '上映时间', '主持人', '主演', '主角', '作曲', '作者', '作词', '出品公司', '出生地', '出生日期', '创始人', '制片人', '号', '嘉宾', '国籍',
             '妻子', '字', '导演', '所属专辑', '改编自', '朝代', '歌手', '母亲', '毕业院校', '民族', '父亲', '祖籍', '编剧', '董事长', '身高', '连载网站']

max_length = 300
train_list = []
label_list = []

with open(file="../data/train_data.json", mode='r', encoding='UTF-8') as f:
    data = json.load(f)
    for line in tqdm(data):
        text = tokenizer.encode(line['text'])
        token = text[:max_length] + [0] * (max_length - len(text))
        train_list.append(token)
        # 获取当前文本的标准答案 (spo中的p)
        new_spo_list = line['new_spo_list']
        label = [0.] * len(p_entitys)  # 确定label的标签长度
        for spo in new_spo_list:
            p_entity = spo['p']['entity']
            label[p_entitys.index(p_entity)] = 1.0        
        label_list.append(label)
train_list = np.array(train_list)
label_list = np.array(label_list)

val_train_list = []
val_label_list = []
# 加载和预处理验证集
with open('../data/valid_data.json', 'r', encoding="UTF-8") as f:
    data = json.load(f)
    for line in tqdm(data):
        text = line["text"]
        new_spo_list = line["new_spo_list"]
        label = [0.] * len(p_entitys)
        for spo in new_spo_list:
            p_entity = spo["p"]["entity"]
            label[p_entitys.index(p_entity)] = 1.        
        token = tokenizer.encode(text)
        token = token[:max_length] + [0] * (max_length - len(token))
        val_train_list.append((token))
        val_label_list.append(label)
val_train_list = np.array(val_train_list)
val_label_list = np.array(val_label_list)

1.2 流程介绍

这段代码的整体流程和目的是为了对中文文本进行自然语言处理任务的准备工作，这里似乎是为了一个文本分类或关系提取任务。具体步骤如下：

  1. 导入必要的库：

    • json：用于处理JSON数据格式。
    • numpy：科学计算库，用于高效地处理数组操作。
    • tqdm：用于在循环操作中显示进度条。

  2. 指定BERT模型的类型（bert-base-chinese），用于中文文本。

  3. 使用transformers库中的AutoTokenizer来加载指定BERT模型的分词器。

  4. 定义一组中文实体关系标签（p_entitys），这些看起来是用于文本中特定实体之间关系的标签。

  5. 设置一个最大序列长度（max_length）为300，以限制处理文本的长度。

  6. 初始化两个空列表train_list和label_list，用于存储训练数据的特征和标签。

  7. 加载并处理训练数据（train_data.json）：

    • 使用json.load()读取文件内容。
    • 使用tokenizer.encode()将每行文本转换为BERT词汇表中的token IDs。
    • 如果文本长度短于max_length，则用0填充。
    • 解析每个文本的new_spo_list以构建标签向量，其中如果关系存在于文本中，则相应位置为1，否则为0。

  8. 将train_list和label_list转换为NumPy数组，以便进一步处理。

  9. 对验证集进行与训练集相同的处理，并存储在val_train_list和val_label_list。

代码的目的是将中文文本及其对应的实体关系标签转换为机器学习模型可以接受的数值格式。这个过程通常是自然语言处理任务中文本预处理的一部分，特别是在使用BERT这类预训练语言模型的情况下。

你需要完成的工作可能包括：

  • 确保你有正确配置的环境和库来运行这段代码。
  • 如果这是第一次运行，确保你下载了bert-base-chinese模型和分词器。
  • 准备train_data.json和valid_data.json数据文件。
  • 运行代码并监视进度条以确保数据正在被正确处理。

1.3 debug的方式逐行介绍

下面逐行解释代码的功能：

import json
import numpy as np
from tqdm import tqdm

这三行代码是导入模块，json用于处理JSON格式的数据，numpy是一个广泛使用的科学计算库，tqdm是一个用于显示循环进度的库，可以在长循环中给用户反馈。

bert_model = "bert-base-chinese"

这行代码定义了变量bert_model，将其设置为"bert-base-chinese"，指的是BERT模型的中文预训练版本。

from transformers import AutoTokenizer

从transformers库导入AutoTokenizer，这是Hugging Face提供的一个用于自动获取和加载预训练分词器的类。

tokenizer = AutoTokenizer.from_pretrained(bert_model)

使用from_pretrained方法创建了一个tokenizer对象，这个分词器将根据bert_model变量指定的模型进行加载。

p_entitys = [...]

这里列出了所有可能的关系标签，用于将文本中的关系映射为一个固定长度的标签向量。

max_length = 300

定义了一个变量max_length，设置为300，用于后面文本序列的最大长度。

train_list = []
label_list = []

初始化两个列表train_list和label_list，分别用于存储处理后的文本数据和对应的标签数据。

with open(file="../data/train_data.json", mode='r', encoding='UTF-8') as f:

打开训练数据文件train_data.json，以只读模式('r')和UTF-8编码。

    data = json.load(f)

加载整个JSON文件内容到变量data。

    for line in tqdm(data):

对data中的每一项进行迭代，tqdm将为这个循环显示一个进度条。

        text = tokenizer.encode(line['text'])

使用分词器将文本编码为BERT的输入ID。

        token = text[:max_length] + [0] * (max_length - len(text))

这行代码截取或填充编码后的文本至max_length长度。

        train_list.append(token)

将处理后的文本添加到train_list列表中。

        new_spo_list = line['new_spo_list']

提取当前条目的关系列表。

        label = [0.] * len(p_entitys)

创建一个与关系标签数量相同长度的零向量。

        for spo in new_spo_list:

遍历当前条目的每一个关系。

            p_entity = spo['p']['entity']

从关系中提取实体。

            label[p_entitys.index(p_entity)] = 1.0

在标签向量中，将对应实体的索引位置设为1.0，表示该关系在文本中出现。

        label_list.append(label)

将构建好的标签向量添加到label_list。

train_list = np.array(train_list)
label_list = np.array(label_list)

将列表转换为NumPy数组，便于后续处理。

接下来的代码块与之前的相似，只是针对验证数据集valid_data.json进行操作。

val_train_list = []
val_label_list = []

初始化用于验证集的两个列表。

with open('../data/valid_data.json', 'r', encoding="UTF-8") as f:

打开验证数据文件。

接下来的代码块与处理训练数据时相同，也是加载数据、对文本进行编码、生成标签向量、然后将它们添加到相应的验证集列表中。

val_train_list = np.array(val_train_list)
val_label_list = np.array(val_label_list)

最后，同样地，将验证集的列表转换为NumPy数组。

这段代码整体上是用来处理和准备数据，使其适合输入到一个神经网络模型中去。它不仅编码文本，还构造了与之相对应的标签，这在训练和验证机器学习模型时是必需的。

3. 知识点

3.2 代码疑问

1. 使用tokenizer.encode()将每行文本转换为BERT词汇表中的token IDs。包含词嵌入的内容吗？

使用 tokenizer.encode() 将文本转换为 BERT 词汇表中的 token IDs 时，并不直接包含词嵌入（word embeddings）的内容。这个过程主要是文本的预处理步骤，涉及将文本分割成 tokens 并将这些 tokens 转换为模型能理解的数字ID。下面详细解释一下这个过程：

  1. Tokenization（分词）:

    • 首先，tokenizer.encode() 函数将给定的文本字符串分割成 tokens。在BERT的情况下，这通常包括字词级别的分割以及子词单位（subword units）的分割。

  2. 转换为 Token IDs:

    • 接着，这些 tokens 会被转换成词汇表中对应的数字ID。BERT模型有一个预先定义的词汇表，每个 token 都映射到一个唯一的ID。

  3. 词嵌入（Word Embeddings）的角色:

    • 词嵌入是在模型的后续阶段使用的。当这些 token IDs 被输入到 BERT 模型时，模型的第一层（通常是一个嵌入层）会将这些数字ID转换成向量形式的词嵌入。
    • 词嵌入是高维空间中的向量，每个向量代表着输入文本中的一个 token。这些向量是通过训练过程中学习得到的，并能够捕捉词汇的语义信息。

  4. 区分 Tokenization 和 Embedding:

    • 重要的是要区分 tokenization（及其产生的 token IDs）和 word embeddings。Tokenization 只是将文本转换为模型可以理解的形式的预处理步骤。而 word embeddings 则是模型内部用于表示这些 tokens 语义的向量。

总结来说，tokenizer.encode() 只负责将文本转换为 token IDs，而不涉及词嵌入的创建。词嵌入是在模型内部生成的，作为模型处理这些 token IDs 的一部分。

举一个python案例，包含输入输出内容
这里有一个简单的 Python 示例，它演示了如何使用 BERT tokenizer 将文本转换为 token IDs，然后用一个基本的 BERT 模型将这些 token IDs 转换为词嵌入。请注意，这个例子需要 transformers 库，可以通过 pip install transformers 命令来安装它。

示例：使用 BERT Tokenizer 和模型

输入
文本： “Hello, how are you?”

Python 代码

from transformers import BertTokenizer, TFBertModel

# 初始化 tokenizer 和模型
tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')
model = TFBertModel.from_pretrained('bert-base-uncased')

# 文本输入
text = "Hello, how are you?"

# 使用 tokenizer 将文本转换为 token IDs
input_ids = tokenizer.encode(text, return_tensors='tf')

# 输出 token IDs
print("Token IDs:", input_ids)

# 使用模型获取词嵌入
outputs = model(input_ids)
last_hidden_states = outputs.last_hidden_state

# 输出词嵌入的形状
print("Shape of Embeddings:", last_hidden_states.shape)

输出

  1. Token IDs：一系列数字，代表每个 token 的 ID。
  2. Embeddings 的形状：这将展示词嵌入的维度，通常是 (batch_size, sequence_length, hidden_size)。

解释

  • 这段代码首先加载 BERT tokenizer 和模型。
  • 然后，它使用 tokenizer 将给定的文本字符串 “Hello, how are you?” 转换为一系列 token IDs。
  • 最后，这些 token IDs 被传递到 BERT 模型中，模型返回每个 token 的词嵌入。
  • 输出中包含了 token IDs 和词嵌入的形状信息。

请注意，要运行此代码，需要在 Python 环境中安装 transformers 库，并且需要网络连接以下载模型和 tokenizer。

赵孝正
关注
  • 2
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【神经网络】{4} ——多元分类
Giyn
02-19 2378
如何利用神经网络解决多类别分类问题
基于pytorch的谷歌自然语言处理模型BERT代码实现
03-25
基于pytorch的谷歌自然语言处理模型BERT代码实现
BERT模型的应用实例
易之阴阳，量子纠缠，道之一体，缘起性空
03-23 447
这些应用都需要在原始BERT模型的基础上进行微调，即使用特定领域的标注数据集对模型进行再训练，以便让模型更好地适应具体的NLP任务。
基于BERT模型的文本分类示例
最新发布
yiqiedouhao11的博客
05-21 293
定义一个继承自Dataset的类，用于封装文本数据和标签。# ...（省略类定义的代码以节省空间）使用AdamW作为优化器，并定义交叉熵损失函数。num_training_steps = len(dataloader) * 3 # 假设我们训练3个epoch。
【自注意力机制必学】BERT类预训练语言模型（含Python实例）
Moresweet 猫甜
06-22 9512
BERT（Bidirectional Encoder Representations from Transformers）是一种预训练模型，它是自然语言处理（NLP）领域的重大里程碑，被认为是当前的State-of-the-Art模型之一。BERT的设计理念和结构基于Transformer模型，通过无监督学习方式进行训练，并且能够适配各种NLP任务。预训练模型是指在大规模文本数据上进行大量无监督训练，学习得到丰富的语言表示。
Bert代码详解（一）
cpluss的博客
03-12 2万+
这是bert的pytorch版本（与tensorflow一样的，这个更简单些，这个看懂了，tf也能看懂），地址：https://github.com/huggingface/pytorch-pretrained-BERT 主要内容在pytorch_pretrained_bert/modeling文件中。 由于这几天要参见计算所复试，超级紧张，所以先把草稿贴在这里，复试过了再加以完善！！！嘤嘤...
NLP实战 | BERT文本分类及其魔改(附 Python 代码)
2301_78285120的博客
09-03 889
本文主要介绍了两种文本分类模型：BERT文本分类基础模型，及基于和的魔改模型。在作者实际的有关文本分类的工作中取得了F1值超越Bert基础模型近4%的效果。
简洁高效的 NLP 入门指南: 200 行实现 Bert 文本分类 TensorFlow 代码纯享版
我是小白呀的博客
12-25 980
在当今信息时代, 自然语言处理 (NLP, Natural Linguistic Processing) 已经称为人工智能领域的一个关键分支. NLP 的目标是使计算机能够理解, 解释和操作人类语言, 从而在各种应用中发挥作用, 如语音识别, 机器翻译, 情感分析等. 随着技术的进步, NLP 已经从简单的规则和统计方法发展到使用复杂的深度学习模型, 今天我们要来介绍的就是 Bert.
bert的实现-数据预处理
M_arshal_的博客
10-23 2222
1、引入参数代码 需要那个参数再回来查看 parser = argparse.ArgumentParser() ## Required parameters parser.add_argument("--data_dir", default=None, type=str, required=True,
7万条文娱类新闻未处理数据集
05-05
这涉及到自然语言处理（NLP）技术，包括词嵌入（Word Embedding）、词性标注（Part-of-Speech Tagging）、命名实体识别（Named Entity Recognition）、句法分析（Syntactic Parsing）以及情感分析（Sentiment ...
exploit-classifier：这是一个NLP模型，用于根据漏洞描述对漏洞进行分类
02-20
exploit-classifier是一个基于自然语言处理（NLP）的机器学习模型，它的主要目标是对网络安全领域的漏洞进行分类。这个模型的应用对于信息安全专业人员来说非常重要，因为它可以帮助他们快速识别和理解不同类型的...
Python-Makesfamouspeoplespeakwhateveryouwishbylinkingtheirwords
08-10
在“Python开发-自然语言处理”的标签中，我们可以推断出这个项目是使用Python来实现的，并且主要依赖于Python中的NLP库，如NLTK（自然语言工具包）、spaCy（用于高效处理文本的库）或TextBlob（提供简单易用的NLP...
Python-MatchZoo是一个文本匹配的工具包
08-10
此外，MatchZoo还能帮助研究人员快速尝试新的模型结构和算法，推动自然语言处理领域的研究进步。 **总结** MatchZoo作为Python开发的自然语言处理工具，是深度学习文本匹配任务的理想选择。其强大的功能、易用的...
Astria：Astria-面向律师和普通百姓的智能搜索引擎
02-06
Astria利用了先进的自然语言处理（NLP）技术和机器学习模型，特别是BERT模型，来理解和解析用户的查询，从而提供精准的搜索结果。 **自然语言处理（NLP）** 自然语言处理是人工智能领域的一个关键分支，它使计算机...
NLP 算法实战项目：使用 BERT 进行文本多分类
安静的软件工程师
03-12 990
NLP 算法实战项目：使用 BERT 进行文本多分类
BERT模型和代码解析
AI蜗牛车
05-01 726
1 前言本期内容，笔者想解析一下自然语言处理（NLP）中非常有名的基于变换器的双向编码器表示技术（即Bidirectional Encoder Representations from Transformers，BERT）。BERT想当年（2019年），BETR的出现也是横扫了自然语言处理领域多项任务，甚至压住了ChatGPT的早期版本（OpenAI GPT ）。这里需要注意，BERT并不是一类模...
Pytorch——BERT 预训练模型及文本分类（情感分类）
热门推荐
ASS-ASH的博客
11-02 3万+
BERT 预训练模型及文本分类 介绍 如果你关注自然语言处理技术的发展，那你一定听说过 BERT，它的诞生对自然语言处理领域具有着里程碑式的意义。本次试验将介绍 BERT 的模型结构，以及将其应用于文本分类实践。 知识点 语言模型和词向量 BERT 结构详解 BERT 文本分类 BERT全称为 Bidirectional Encoder Representations from Transformer，是谷歌在 2018 年 10 月发布的语言表示模型。BERT 通过维基百科和书籍语料组成的庞.
bert 对话机器人 实例
11-30
bert 对话机器人 是一个基于BERT模型的对话生成系统。它利用预训练的BERT模型来理解用户输入的语言，并生成相应的回复。这种模型可以有效地捕捉自然语言中的语境和语义信息，从而使得对话生成更加流畅和接近人类水平。 BERT 对话机器人 可以被用于各种对话型应用，比如在线客服系统、智能语音助手、智能对话机器人等。它能够识别用户的意图，并给出相应的回答，甚至在复杂的对话场景中进行多轮对话。通过不断地学习和优化，BERT 对话机器人 能够不断提高其对话生成的质量和准确性。 与传统的对话系统相比，BERT 对话机器人 在语言理解和表达能力上有着明显的优势。它可以更好地理解用户输入的语言，从而生成更加自然、流畅的回复。这使得用户和对话机器人之间的交流更加愉快和高效。 总的来说，BERT 对话机器人 是一种新型的对话生成系统，它通过利用BERT模型的强大语言理解能力，实现了对话生成的质的提升。在未来的人工智能应用中，BERT 对话机器人 有着广阔的应用前景，可以为用户提供更加智能、便捷的对话服务。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值