【keras-bert 学习笔记】2. 保存、加载预训练模型，在预训练模型上添加层做监督训练(fine tune)

最新推荐文章于 2024-08-07 16:56:18 发布
最新推荐文章于 2024-08-07 16:56:18 发布
阅读量3.4k 收藏 5
点赞数
分类专栏： tensoflow
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ftfy123/article/details/105384701
版权
这篇博客主要介绍了如何使用Keras-BERT进行预训练模型的保存，并探讨了加载预训练模型后，如何添加额外层进行监督训练（fine-tune）的过程。
摘要由CSDN通过智能技术生成

1.预训练模型，并保存

import os
import tensorflow as tf
from keras_bert import (get_model, compile_model, get_base_dict, gen_batch_inputs)
from indoor_location.utils import get_sentence_pairs


seqence_len = 26  #有效的ap数量
pretrain_datafile_name = "..\\data\\sampleset_data\\trainset_day20-1-8_points20_average_interval_500ms.csv"
MODEL_DIR = "..\\model\\"
pretrained_model_path = MODEL_DIR + "pretrained_bert1.h5"


def bert_indoorlocation_pretrain():

    # 准备训练集数据和验证集数据
    sentence_pairs = get_sentence_pairs(pretrain_datafile_name)
    token_dict = get_base_dict()
    for pairs in sentence_pairs:
        for token in pairs[0] + pairs[1]:
            if token not in token_dict:
                token_dict[token] = len(token_dict)
    token_list = list(token_dict.keys())

    x_train, y_train = gen_batch_inputs(
        sentence_pairs,
        token_dict,
        token_list,
        seq_len=seqence_len,
        mask_rate=0.3,
        swap_sentence_rate=1.0,
    )
    x_test, y_test = gen_batch_inputs(
        sentence_pairs,
        token_dict,
        token_list,
        seq_len=seqence_len,
        mask_rate=0.3,
        swap_sentence_rate=1.0,
    )

    config = tf.ConfigProto(allow_soft_placement=True)
    gpu_options = tf.GPUOptions(per_process_gpu_memory_fraction=0.9)
    config.gpu_options.allow_growth = True
    
    # 创建session
    with tf.Session(config=config) as session:

        # 构建模型
        model = get_model(
            token_num=len(token_dict),
            head_num=2,
            transformer_num=2,
            embed_dim=12,
            feed_forward_dim=100,
            seq_len=seqence_len,
            pos_num=seqence_len,
            dropout_rate=0.05,
            attention_activation='gelu',
        )

        # 设置模型
        print("compiling model .....")
        compile_model(
            model,
            learning_rate=1e-3,
            decay_steps=30000,
            warmup_steps=10000,
            weight_decay=1e-3,
        )
        model.summary()
       
        # 训练模型
        print("training network...")
        H = model.fit(x_train, y_train, validation_data=(x_test, y_test),
                      batch_size=32, epochs=1, verbose=2)
        # 保存模型
        model.save(pretrained_model_path) # 这里保存了模型的结构和参数变量的权重值到h5文件了


bert_indoorlocation_pretrain()

输出结果：

Using TensorFlow backend.
2020-04-08 13:27:41.211842: I tensorflow/core/common_runtime/gpu/gpu_device.cc:1432] Found device 0 with properties: 
name: GeForce RTX 2080 Ti major: 7 minor: 5 memoryClockRate(GHz): 1.545
pciBusID: 0000:01:00.0
totalMemory: 11.00GiB freeMemory: 9.03GiB
2020-04-08 13:27:41.212025: I tensorflow/core/common_runtime/gpu/gpu_device.cc:1511] Adding visible gpu devices: 0
compiling model .....
2020-04-08 13:27:42.030384: I tensorflow/core/common_runtime/gpu/gpu_device.cc:982] Device interconnect StreamExecutor with strength 1 edge matrix:
2020-04-08 13:27:42.030481: I tensorflow/core/common_runtime/gpu/gpu_device.cc:988]      0 
2020-04-08 13:27:42.030536: I tensorflow/core/common_runtime/gpu/gpu_device.cc:1001] 0:   N 
2020-04-08 13:27:42.030685: I tensorflow/core/common_runtime/gpu/gpu_device.cc:1115] Created TensorFlow device (/job:localhost/replica:0/task:0/device:GPU:0 with 8712 MB memory) -> physical GPU (device: 0, name: GeForce RTX 2080 Ti, pci bus id: 0000:01:00.0, compute capability: 7.5)
Model: "model_1"
__________________________________________________________________________________________________
Layer (type)                    Output Shape         Param #     Connected to                     
==================================================================================================
Input-Token (InputLayer)        (None, 26)           0                                            
__________________________________________________________________________________________________
Input-Segment (InputLayer)      (None, 26)           0                                            
__________________________________________________________________________________________________
Embedding-Token (TokenEmbedding [(None, 26, 12), (57 684         Input-Token[0][0]                
__________________________________________________________________________________________________
Embedding-Segment (Embedding)   (None, 26, 12)       24          Input-Segment[0][0]              
__________________________________________________________________________________________________
Embedding-Token-Segment (Add)   (None, 26, 12)       0           Embedding-Token[0][0]            
                                                                 Embedding-Segment[0][0]          
__________________________________________________________________________________________________
Embedding-Position (PositionEmb (None, 26, 12)       312         Embedding-Token-Segment[0][0]    
__________________________________________________________________________________________________
Embedding-Dropout (Dropout)     (None, 26, 12)       0           Embedding-Position[0][0]         
__________________________________________________________________________________________________
Embedding-Norm (LayerNormalizat (None, 26, 12)       24          Embedding-Dropout[0][0]          
__________________________________________________________________________________________________
Encoder-1-MultiHeadSelfAttentio (None, 26, 12)       624         Embedding-Norm[0][0]             
__________________________________________________________________________________________________
Encoder-1-MultiHeadSelfAttentio (None, 26, 12)       0           Encoder-1-MultiHeadSelfAttention[
__________________________________________________________________________________________________
Encoder-1-MultiHeadSelfAttentio (None, 26, 12)       0           Embedding-Norm[0][0]             
                                                                 Encoder-1-MultiHeadSelfAttention-
__________________________________________________________________________________________________
Encoder-1-MultiHeadSelfAttentio (None, 26, 12)       24          Encoder-1-MultiHeadSelfAttention-
__________________________________________________________________________________________________
Encoder-1-FeedForward (FeedForw (None, 26, 12)       2512        Encoder-1-MultiHeadSelfAttention-
__________________________________________________________________________________________________
Encoder-1-FeedForward-Dropout ( (None, 26, 12)       0           Encoder-1-FeedForward[0][0]      
__________________________________________________________________________________________________
Encoder-1-FeedForward-Add (Add) (None, 26, 12)       0           Encoder-1-MultiHeadSelfAttention-
                                                                 Encoder-1-FeedForward-Dropout[0][
__________________________________________________________________________________________________
Encoder-1-FeedForward-Norm (Lay (None, 26, 12)       24          Encoder-1-FeedForward-Add[0][0]  
__________________________________________________________________________________________________
Encoder-2-MultiHeadSelfAttentio (None, 26, 12)       624         Encoder-1-FeedForward-Norm[0][0] 
__________________________________________________________________________________________________
Encoder-2-MultiHeadSelfAttentio (None, 26, 12)       0           Encoder-2-MultiHeadSelfAttention[
__________________________________________________________________________________________________
Encoder-2-MultiHeadSelfAttentio (None, 26, 12)       0           Encoder-1-FeedForward-Norm[0][0] 
                                                                 Encoder-2-MultiHeadSelfAttention-
__________________________________________________________________________________________________
Encoder-2-MultiHeadSelfAttentio (None, 26, 12)       24          Encoder-2-MultiHeadSelfAttention-
__________________________________________________________________________________________________
Encoder-2-FeedForward (FeedForw (None, 26, 12)       2512        Encoder-2-MultiHeadSelfAttention-
__________________________________________________________________________________________________
Encoder-2-FeedForward-Dropout ( (None, 26, 12)       0           Encoder-2-FeedForward[0][0]      
__________________________________________________________________________________________________
Encoder-2-FeedForward-Add (Add) (None, 26, 12)       0           Encoder-2-
最低0.47元/天 解锁文章
紫薯真好吃
关注
专栏目录
【ChatGPT模型精调训练】AI 大模型精调 Fine-Tuning （微调）训练图文代码实战详解
程序员光剑
03-09 863
选择预训练模型：选择一个在类似任务上已经训练好的模型作为起点。数据准备：准备并预处理你的数据集，使其适合模型的输入格式。微调：在你的特定数据集上继续训练模型，调整模型的权重。评估：评估微调后模型的性能。应用：将微调后的模型部署到实际应用中。Fine-Tuning（精调）是指在预训练模型的基础上，对模型进行微调，使其适应特定任务。预训练模型通常在大量无标签数据上进行训练，以学习通用的语言表示。通过 Fine-Tuning，我们可以在较小的标签数据集上训练模型，以便模型能够更好地解决特定任务。
大语言模型在金融风控中的应用
程序员光剑
03-09 519
金融风控是金融机构确保其资产安全和业务稳定的重要手段。随着金融市场的复杂性和交易量的增加，传统的风控方法已难以应对日益增长的风险。近年来，随着大数据和人工智能技术的快速发展，金融风控领域逐渐引入了新的技术手段，其中大语言模型的应用尤为引人注目。大语言模型（Large Language Models, LLMs）通过在大规模文本数据上进行预训练，具备了强大的语言理解和生成能力。这些模型不仅能够处理结构化数据，还能从非结构化文本中提取有价值的信息，从而为金融风控提供了新的解决方案。
pytorch如何保存和加载模型
qq_46497008的博客
12-26 565
从本地地址直接加载预训练模型 在本地，有几种方式可以避免下载直接加载预训练模型： https://www.cnblogs.com/ywheunji/p/10605614.html 直接修改源码，改为本地地址 把模型权重下载至torch的缓存文件夹 当需要迁移学习时加载预训练模型 此时，我的模型和预训练的模型有些结构可能不一致，需要多出一步，筛选掉预训练模型中与我的结构不一致的部分： https://blog.csdn.net/VictoriaW/article/details/72821329 http
tf2 BERT模型文件保存和加载
qq_44789021的博客
04-13 612
tf2 BERT模型文件保存和加载
BERT预训练
最新发布
qq_58317297的博客
08-07 1001
1、在NLP中的迁移学习中，使用预训练好的模型抽取词、句子的特征，不更新预训练好的模型，而是在需要构建新的网络来抓取新任务需要的信息，也就是最后面加上一个MLP做分类；在这个预训练任务中，将随机选择15%的词元作为预测的掩蔽词元，用一个特殊的“<mask>”替换输入序列中的词元。2、由于基于微调的NLP模型，也想要一个类似的东西，使预训练的模型抽取了足够多的信息，新任务只需要一个简单的输出层。# 为遮蔽语言模型的输入创建新的词元副本，其中输入可能包含替换的“<mask>”或随机词元。
Bert文本分类(基于keras-bert实现训练，保存，加载，预测单个文本）
人生百态361
04-10 9553
Bert 预训练模型准备 中文预训练模型下载 当Bert遇上Keras：这可能是Bert最简单的打开姿势 keras-bert Bert 模型文本分类 1、数据准备 在GitHub中有酒店评论的数据 训练集： 测试集： 2、代码实现 ''' 提示：受GPU性能的影响，只能运行基础版的bert预训练模型，若出现OOM 适当调整batch_size,maxlen...
bert保存模型（输入不能分开IteratorV2）
qq_42738654的博客
12-24 833
今天下载google官方bert代码，发现使用estimator训练成ckpt格式，转成pb以后，发现输入融合到了一起。 使用pb推理的时候，用see.run出现错误。 inputs = graph.get_tensor_by_name(prex + "IteratorV2:0") # input_mask = graph.get_tensor_by_name(prex + "input_mask:0") # token_type_ids = graph.get_tensor_by_name(prex +
tensorflow基于BERT训练文本分类模型保存为PB（saved model）并部署
broccoli2的博客
10-07 3677
背景 基于BERT构建了文本分类任务，由于需要将模型部署至服务器，所以将模型保存为pb形式。 模型架构：BERT+softmax 模型保存策略：先将模型保存为ckpt形式然后转换为pb形式。 转换为pb形式时需要指定模型的输入节点，代码如下： def serving_input_fn(): # 保存模型为SaveModel格式 # 采用最原始的feature方式，输入是feature Tensors。 # 如果采用build_parsing_serving_input_receiv.
【从零开始大模型开发与微调】AI 人工智能大语言模型 LLM：语言与思维——实践的融合
程序员光剑
07-04 1518
在人工智能领域，大语言模型（Large Language Models, LLMs）已经取得了令人瞩目的成就。这些模型基于深度学习，通过在大量文本数据上预训练学习语言知识，被广泛应用于各种自然语言处理（NLP）任务，如图像描述、对话系统、翻译、摘要生成等。但这些模型的性能和表现，特别是其对语言和思维的理解，仍存在诸多困惑和疑问。大语言模型（LLMs）：指基于深度学习技术，通过在大量文本数据上预训练学习语言知识，能够理解和生成自然语言的大规模模型。自监督学习。
NLP教程笔记：BERT 双向语言模型
nanke_4869的博客
02-07 2760
NLP教程 TF_IDF 词向量 句向量 Seq2Seq 语言生成模型 CNN的语言模型 语言模型的注意力 Transformer 将注意力发挥到极致 ELMo 一词多义 GPT 单向语言模型 BERT 双向语言模型 目录NLP教程怎么了怎么训练代码总结全部代码 怎么了 BERT 和 GPT 还有 ELMo 是一个性质的东西。 它存在的意义是要变成一种预训练模型，提供 NLP 中对句子的理解。ELMo 用了双向 LSTM 作为句子信息的提取器，同时还能表达词语在句子中的不同含义；GPT 呢， 它是一种单向
pytorch-bert 调用预训练模型或自训模型 进行预测（可批量）
王小二的博客
12-23 6514
#载入训练好的模型 import numpy as np import torch from transformers import BertTokenizer, BertConfig, BertForSequenceClassification #加载训练好的模型 model_name = 'bert-base-cased' MODEL_PATH = '你的模型路径' # tokenizer.encode_plus返回多句子在字典中的id，tokenizer.tokenize返回token # [C
tensorflow学习之添加层并简单训练
Leo_whj的博客
03-07 421
import tensorflow as tf import numpy as np def add_layer(inputs, in_size,out_size,activation_function=None): Weights = tf.Variable(tf.random_normal([in_size,out_size])) biases = tf.Variable...
NLP 算法实战项目：使用 BERT 进行模型微调，进行文本情感分析
2201_75499313的博客
03-10 2716
本篇我们使用公开的微博数据集(weibo_senti_100k)进行训练，此数据集已经进行标注，0: 负面情绪，1:正面情绪。数据集共计82718条(包含标题)。注意：此处需要打乱数据行，为了快速训练展示，下面程序只加载了1500条数据。
tensorflow 添加一层
qq_21578125的博客
04-08 403
来源于莫凡Python的TensorFlow系列视频教程import tensorflow as tfdef add_layer(inputs,in_size,out_size,activation_function=None):    Weights=tf.Variable(tf.random_normal([in_size,out_size]))    biases=tf.Variable(t...
keras预训练模型在添加层
nbxuwentao的博客
03-18 1324
在keras模型中添加层： reference: 参考链接1 在keras模型中冻结层和解冻层： reference: 参考链接
keras使用预训练模型进行训练
weixin_43327191的博客
12-05 1805
"""前面我们发现当数据量比较少时,如果从头开始训练一个模型,其精度提升非常困难,且极易出现过拟合 本次实验采用迁移学习思想,如何将预训练网络应用到自己的任务中 对于预训练网络,我们有两种处理方式: ①特征提取 使用之前网络学习到的表示来从新样本中提取有趣特征,然后将特征输入到一个新的分类器,从头开始训练 利用预训练模型的卷积层提取数据特征,然后将提取的数据特征输入到我们自定的分类器,从头开始训练 好处:计算速度快,对于每张图片,都只需运行一次卷积基
Tensorflow2.0 在迁移学习到的模型中间添加新层
cocofisher的博客
07-08 1530
这是一个尝试用 Tensorflow2.0 在迁移学习到的模型中间添加新层的记录。
Keras中加载并修改预训练模型：移除全连接层
"这篇教程主要介绍了如何在Keras中加载并使用自己训练好的模型，以及如何去除模型中的全连接层。" 在深度学习领域，Keras是一个非常流行的高级神经网络API，它允许用户轻松地构建、训练和评估深度学习模型。在训练...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值