BERT模型训练GPU，预测走cpu

最新推荐文章于 2022-02-18 13:28:11 发布
最新推荐文章于 2022-02-18 13:28:11 发布
阅读量1.1w 收藏 10
点赞数 1
分类专栏： tensorflow 文章标签： tensorflow bert
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/woai8339/article/details/94016432
版权

最近学习BERT，训练用GPU，预测默认也走GPU，比较耗费资源，启用GPU加载也会有很多信息，想用CPU，设定如下就好：
预测代码之前加入os.environ["CUDA_VISIBLE_DEVICES"]="-1"
get了，game over。

代码随想随记
关注
  • 1
    点赞
  • 踩
  • 10
    收藏
    觉得还不错? 一键收藏
  • 6
    评论
专栏目录
bert 自己语料预训练pre-train、微调fine-tune；tensorflow/pytorch矩阵点乘、叉乘区别
weixin_42357472的博客
12-07 5728
矩阵点乘：对应位置直接相乘 矩阵叉乘：行向量的每一个元素乘以列向量中所有元素
基于bert的幽默识别预训练模型
07-04
幽默是一种特殊的语言表达方式，在日常生活中扮演着化解尴尬、活跃气氛、促进交流的重要角色。而幽默计算是近年来自然语言处理领域的新兴热点之一，其主要研究如何基于计算机技术对幽默进行识别、分类与生成，具有重要的理论和应用价值。 本资源是基于基于bert的幽默识别模型，请结合我的博客使用！
windows10+anaconda 搭建bert环境
qq_33931875的博客
08-24 1862
准备条件：1、默认安装了anaconda3（建议） 2、python3.7 一、安装tensorflow-gpu conda search tensorflow-gpu #查看可以安装的版本 conda install tensorflow-gpu=2.5.0 #选择安装的版本 “=”号后面自己选择可安装的版本之一 import tensorflow as tf tf.__version__ #测试是否安装成功 #若成功，将会输出 ...
【Linux】GPU运行BERT环境搭建（CUDA9.0，cudnn7.0，tensorflow-gpu1.11.0）
qq_45862048的博客
12-09 1697
运行BERT环境搭建记录-CUDA9.0+cudnn7.0+tensorflow-gpu1.11.0BERT版本先装CUDA9.0cudnn7.0安装结尾首先创建anaconda虚拟环境然后，进入这个环境，装tensorflow： 菜鸟选手辛辛苦苦终于做好了环境，以防以后还需要搭建这样的环境，写个备忘 目的：为了在服务器Linux系统上运行基于原始tensorflow版本的bert，为了把代码挪到GPU上跑 BERT版本 GitHub上原始代码，因为它主要用的是tensorflow1.11.0，咱们也保
BERT内存溢出，自己设备跑步了？使用Google免费GPU
lzbmc的博客
05-16 2714
Colab笔记本存储在Google云端硬盘上，可以在 Google 云端硬盘里直接编写 Jupyter Notebook，但它在另一台虚拟机上运行。 1、Google 云端硬盘 https://drive.google.com/drive/my-drive注册账号登录。（上网可参考：https://blog.csdn.net/lzbmc/article/details/90105958） 2、...
BERT-Tensorflow模型部署(CPU版和GPU版)
ljp1919的专栏
09-21 9667
背景 使用BERT的TensorFlow方案解决法研杯要素识别任务，该任务其实是一个多标签文本分类任务。模型的具体不是本文重点，故于此不细细展开说明。本文重点阐述如何部署模型。 模型部署 官方推荐TensorFlow模型在生产环境中提供服务时使用SavedModel格式。SavedModel格式是一种通用的、语言中立的、密闭的、可恢复的TensorFlow模型序列化格式。SavedModel封装了...
bert的实现-数据预处理
M_arshal_的博客
10-23 2177
1、引入参数代码 需要那个参数再回来查看 parser = argparse.ArgumentParser() ## Required parameters parser.add_argument("--data_dir", default=None, type=str, required=True,
bert使用指南
zimengxueying的博客
10-15 2108
准备工作 anaconda tensorflow1,12 (官方推荐1.10以上)1.x 下载bert官网下的中文模型替换替换同名文件下下的内容 在该项目下新建一个文件夹(tmp)需要准备中文语料(input_file),vocab.txt 修改args.py下: “init_name1"和’init_name2’为自己tmp的路径,以及"input_file_cpd"和"output_file_cpd”(这个可以不变) 然后直接 python create_pretraining_data.py 获得如
Bert预训练新法则
yanqianglifei的专栏
02-18 880
论文简介：还应在遮蔽语言模型中使用 15% 的遮蔽概率吗？ 论文标题：Should You Mask 15% in Masked Language Modeling? 论文链接：https://arxiv.org/pdf/2202.08005.pdf 代码链接：期待 论文作者：{Alexander Wettig∗ Tianyu Gao∗ Zexuan Zhong Danqi Chen} 论文简介 以往遮蔽预训练模型中，遮蔽语言模型通常使用 15% 的遮蔽率，作者团队认为更多的遮蔽将提供足够的上下文来学习良好
BERT 预训练学习（数据：样本构建、输入格式；算法：transformer、mlm和nsp任务）
weixin_42357472的博客
12-02 4547
任务：MLM完形填空、下一句预测 数据：构建样本数据及label，输入格式 参考： **https://github.com/DA-southampton/TRM_tutorial/tree/main/BERT%E4%BB%A3%E7%A0%81%E4%BB%8E%E9%9B%B6%E8%A7%A3%E8%AF%BB **https://github.com/bojone/bert4keras/tree/master/pretraining **https://zhuanlan.zhihu.com/p/4
利用bert预训练模型生成句向量或词向量.zip
最新发布
01-07
先下载相应的预训练模型 配置conf.py里边的路径 利用extract_sen_vec.py 里的 gen_sen_vec()函数生成句向量，gen_word_vec()生成词向量
bert预训练模型（英文）
10-27
包括三个文件： 1. pytorch_model.bin 2. config.json 3. vocab.txt
pytorch实现具备预训练参数加载功能的bert模型
01-03
在pytorch上实现了bert模型，并且实现了预训练参数加载功能，可以加载huggingface上的预训练模型参数。 主要包含以下内容： 1) 实现BertEmbeddings、Transformer、BerPooler等Bert模型所需子模块代码。 2) 在子模块...
中文BERT预训练模型（可调用）
03-26
google公司提供的预训练模型，可以直接调用
【亲测解决】AttributeError: module ‘tensorflow‘ has no attribute ‘__version__‘
热门推荐
不负如来不负卿
07-29 5万+
今天在安装使用bert-as-service时报错，报错信息如下： AttributeError: module 'tensorflow' has no attribute '__version__' 一看，懵逼了，啥，tensorflow么有__version__方法，打开Python解释器看下， import tensorflow tensorflow.__version__ 我去，还真没...
深度学习之MiniBatch
不负如来不负卿
10-28 3万+
我们先来看一个引子：       Mini-batching在这一节，你将了解什么是 mini-batching，以及如何在 TensorFlow 里应用它。 Mini-batching 是一个一次训练数据集的一小部分，而不是整个训练集的技术。它可以使内存较小、不能同时训练整个数据集的电脑也可以训练模型。 Mini-batching 从运...
话谈tensorflow中feed_dict到底是个啥东西（理解就是python里的format，哈哈哈）
不负如来不负卿
10-07 3万+
文章目录先说占位符feed_dict 先说占位符       tensorflow里对于暂时不进行赋值的元素有一个称呼叫占位符。所谓占位符，顾名思义，先占着茅坑不拉屎，等需要时再赋值。所需要的命令为tf.placeholder，具体代码为： import tensorflow as tf a = tf.placeholder(tf.flo...
tensorflow.examples不存在，无法载入mnist数据集
不负如来不负卿
11-28 1万+
将 from tensorflow.examples.tutorials.mnist import input_data 替换成 from tensorflow_core.examples.tutorials.mnist import input_data
BERT对抗训练pytorch代码
03-30
以下是一个BERT对抗训练的pytorch代码示例： ``` import torch from transformers import BertTokenizer, BertForSequenceClassification from transformers import AdamW, get_linear_schedule_with_warmup from torch.utils.data import DataLoader, RandomSampler, SequentialSampler, TensorDataset from tqdm import tqdm import random # 设置GPU device = torch.device("cuda" if torch.cuda.is_available() else "cpu") # 设置随机种子 random.seed(2022) np.random.seed(2022) torch.manual_seed(2022) torch.cuda.manual_seed_all(2022) # 加载预训练好的BERT模型和tokenizer model = BertForSequenceClassification.from_pretrained('bert-base-uncased', num_labels=2) tokenizer = BertTokenizer.from_pretrained('bert-base-uncased', do_lower_case=True) # 加载数据集 train_texts = ['This is a positive sentence.', 'This is a negative sentence.'] train_labels = [1, 0] test_texts = ['This is another positive sentence.', 'This is another negative sentence.'] test_labels = [1, 0] # 将数据集转换为BERT输入格式 train_encodings = tokenizer(train_texts, truncation=True, padding=True) test_encodings = tokenizer(test_texts, truncation=True, padding=True) train_labels = torch.tensor(train_labels) test_labels = torch.tensor(test_labels) train_dataset = TensorDataset(train_encodings['input_ids'], train_encodings['attention_mask'], train_labels) test_dataset = TensorDataset(test_encodings['input_ids'], test_encodings['attention_mask'], test_labels) # 设置训练参数 epochs = 3 batch_size = 8 learning_rate = 2e-5 epsilon = 1e-8 num_adv_steps = 1 adv_learning_rate = 1e-5 # 定义对抗函数，使用FGM对抗训练 def fgsm_attack(input_ids, attention_mask, labels, epsilon): # 将模型设置为训练模式 model.train() # 创建对抗样本 input_ids.requires_grad = True attention_mask.requires_grad = True loss_func = torch.nn.CrossEntropyLoss() outputs = model(input_ids, attention_mask=attention_mask, labels=labels) loss = loss_func(outputs.logits, labels) loss.backward() # 对抗样本 input_ids_grad = torch.sign(input_ids.grad) attention_mask_grad = torch.sign(attention_mask.grad) input_ids = input_ids + epsilon * input_ids_grad attention_mask = attention_mask + epsilon * attention_mask_grad # 清除梯度 model.zero_grad() input_ids.grad = None attention_mask.grad = None return input_ids, attention_mask # 定义优化器和学习率调度器 optimizer = AdamW(model.parameters(), lr=learning_rate, eps=epsilon) total_steps = len(train_dataset) * epochs scheduler = get_linear_schedule_with_warmup(optimizer, num_warmup_steps=0, num_training_steps=total_steps) # 训练模型 train_dataloader = DataLoader(train_dataset, sampler=RandomSampler(train_dataset), batch_size=batch_size) for epoch in range(epochs): model.train() total_loss = 0 for batch in tqdm(train_dataloader, desc="Training"): input_ids = batch[0].to(device) attention_mask = batch[1].to(device) labels = batch[2].to(device) # 对抗训练 for i in range(num_adv_steps): adv_input_ids, adv_attention_mask = fgsm_attack(input_ids, attention_mask, labels, epsilon) adv_outputs = model(adv_input_ids, attention_mask=adv_attention_mask, labels=labels) adv_loss = adv_outputs.loss adv_loss.backward() # 更新模型参数 optimizer.step() scheduler.step() model.zero_grad() # 计算损失函数值 outputs = model(input_ids, attention_mask=attention_mask, labels=labels) loss = outputs.loss total_loss += loss.item() avg_loss = total_loss / len(train_dataloader) print("Epoch:", epoch+1, "Train loss:", avg_loss) # 在测试集上测试模型 test_dataloader = DataLoader(test_dataset, sampler=SequentialSampler(test_dataset), batch_size=batch_size) model.eval() total_accuracy = 0 for batch in tqdm(test_dataloader, desc="Testing"): input_ids = batch[0].to(device) attention_mask = batch[1].to(device) labels = batch[2].to(device) with torch.no_grad(): outputs = model(input_ids, attention_mask=attention_mask) logits = outputs.logits preds = torch.argmax(logits, axis=1) accuracy = torch.sum(preds == labels).item() / len(labels) total_accuracy += accuracy avg_accuracy = total_accuracy / len(test_dataloader) print("Test accuracy:", avg_accuracy) ``` 此代码使用FGM对抗训练方法，在每个训练步骤中对输入数据进行一次对抗样本生成，并使用对抗样本进行模型训练。在测试阶段，模型将在未经过对抗样本生成的测试数据上进行测试。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值