BERT模型训练GPU，预测走cpu

最新推荐文章于 2024-09-08 09:00:00 发布
最新推荐文章于 2024-09-08 09:00:00 发布
阅读量1.1w 收藏 10
点赞数 2
分类专栏： tensorflow 文章标签： tensorflow bert
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/woai8339/article/details/94016432
版权
本文介绍如何在使用BERT模型进行预测时切换至CPU运行，以减少GPU资源消耗。通过设置环境变量os.environ[CUDA_VISIBLE_DEVICES]=-1，可以有效避免GPU加载过程中的信息输出，实现更轻量级的预测过程。
摘要由CSDN通过智能技术生成

最近学习BERT，训练用GPU，预测默认也走GPU，比较耗费资源，启用GPU加载也会有很多信息，想用CPU，设定如下就好：
预测代码之前加入os.environ["CUDA_VISIBLE_DEVICES"]="-1"
get了，game over。

代码随想随记
关注
专栏目录
TensorFlow 2.0实现BERT文本分类模型：使用预训练的BERT模型进行文本分类任务
AI天才研究院
08-09 1808
2018年是NLP技术爆炸式发展的年代，自然语言处理（NLP）成为人工智能领域的一大热点。人们为了解决信息提取、文本处理、文本理解等诸多NLP任务而不断投入研发新的工具与技术。其中最火的当属预训练的BERT(Bidirectional Encoder Representations from Transformers)模型，它可以学习到大量的文本语义信息并用于许多NLP任务中，比如文本分类、文本匹配、序列标注等。
【Linux】GPU运行BERT环境搭建（CUDA9.0，cudnn7.0，tensorflow-gpu1.11.0）
qq_45862048的博客
12-09 1991
运行BERT环境搭建记录-CUDA9.0+cudnn7.0+tensorflow-gpu1.11.0BERT版本先装CUDA9.0cudnn7.0安装结尾首先创建anaconda虚拟环境然后，进入这个环境，装tensorflow： 菜鸟选手辛辛苦苦终于做好了环境，以防以后还需要搭建这样的环境，写个备忘 目的：为了在服务器Linux系统上运行基于原始tensorflow版本的bert，为了把代码挪到GPU上跑 BERT版本 GitHub上原始代码，因为它主要用的是tensorflow1.11.0，咱们也保
在GPU资源受限的情况下精调BERT模型
weixin_48384960的博客
10-16 511
在使用Google开源的中文BERT模型过程中，由于GPU资源受限（只有一块GPU），整个模型精调会导致溢出。 为解决以上困难，设计了如下的逐层精调模式，针对BERT的表达层，逐层放开是否参与训练，和下游目标模块一起针对性训练，并进行多轮迭代： bert_model = load_trained_model_from_checkpoint(config_path, checkpoint_path, seq_len=None) for l in bert_model.layers: if "Enc
BERT 模型详解
最新发布
m0_63171455的博客
09-08 1356
BERT（代表 Bidirectional Encoder Representations from Transformers）是 Google 于 2018 年开发的开源模型。这是一项雄心勃勃的实验，旨在测试所谓的 Transformers（一种创新的神经架构，由谷歌研究人员在 2017 年的著名论文[《注意力是你所需要的一切]》中提出）在自然语言 （NLP） 任务上的性能。BERT成功的关键在于其变压器架构。在 Transformer 出现之前，对自然语言进行建模是一项非常具有挑战性的任务。
Bert模型(pytorch版)CPU部署推理(Linux版)
weixin_47327329的博客
07-01 1595
随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。提示：以下是本篇文章正文内容，下面案例可供参考。
使用预训练语言模型预测阶段：GPU、CPU性能差别【Pegasus】
u013250861的博客
02-21 1569
一、Pegasus 1、使用CPU（用时： 17.92682433128357 秒） # https://github.com/huggingface/transformers/blob/master/src/transformers/models/pegasus/modeling_pegasus.py import time import torch from transformers import AutoTokenizer, AutoModelForSeq2SeqLM device = torc
BERT模型迁移到GPU上的调试经历（pytorch）
Q_M_X_D_D_的博客
12-03 3760
写在前面 前几天阅读了一段bert模型预训练的代码，并写了解析（结合原理和代码来理解bert模型），但是这段代码中的语料是手动添加的两个人的一段对话，不足以显示模型的效果。于是我想用实验室的中医语料数据来训练该模型，由于数据增多，模型也更庞大，于是想把模型及数据迁移到GPU上，过程中遇到了不少的bug，但debug时也了解了一些pytorch模型的运行细节，在此做个记录。 pytorch如何使用GPU pytorch调用GPU也很简单，首先在程序最开始指定要使用的设备名称，例如这样： device
BERT-Tensorflow模型部署(CPU版和GPU版)
ljp1919的专栏
09-21 1万+
背景 使用BERT的TensorFlow方案解决法研杯要素识别任务，该任务其实是一个多标签文本分类任务。模型的具体不是本文重点，故于此不细细展开说明。本文重点阐述如何部署模型。 模型部署 官方推荐TensorFlow模型在生产环境中提供服务时使用SavedModel格式。SavedModel格式是一种通用的、语言中立的、密闭的、可恢复的TensorFlow模型序列化格式。SavedModel封装了...
NLP专栏｜图解 BERT 预训练模型！
Datawhale
11-01 1843
↑↑↑关注后"星标"Datawhale每日干货&每月组队学习，不错过Datawhale干货作者：张贤，哈尔滨工程大学，Datawhale原创作者本文约70...
教程：使用Bert预训练模型文本分类
热门推荐
weixin_43837634的博客
03-01 1万+
Bert介绍 Bert模型是Google在2018年10月发布的语言表示模型，Bert在NLP领域横扫了11项任务的最优结果，可以说是现今最近NLP中最重要的突破。Bert模型的全称是Bidirectional Encoder Representations from Transformers，是通过训练Masked Language Model和预测下一句任务得到的模型。关于Bert具体训练的细...
bert中文分类模型训练+推理+部署
weixin_43590290的博客
09-09 7616
bert简介
训练BERT模型：How to Train BERT from Scratch for Text Classi
AI天才研究院
08-10 246
在文本分类领域，BERT模型已经成为当下最流行的预训练模型之一，用于对文本进行分类、情感分析等NLP任务。然而，作为新手学习者，如何训练BERT模型仍是一个棘手的问题。这次的分享将带你一步步地熟悉BERT模型的训练过程。相信你会收获满满。本篇文章基于PyTorch的实现。BERT (Bidirectional Encoder Representations from Transformers)是一种改进版本的自编码器（Autoencoder）架构，可以生成潜在意义丰富的向量表示，并用于多种自然语言处理任务。
BERT(gpu)代码复现
weixin_45762884的博客
04-29 466
逐行注释，逐行解析。本地配备gpu环境可直接运行。相比cpu版本没有任何删减，增加的几行代码已做标识。 code from https://github.com/graykode/nlp-tutorial/tree/master/5-2.BERT
配置BERT运行环境
谢彦的技术博客
10-05 1042
自然语言处理库Transformers包含了BERT、GPT、GPT-2、Transformer-XL、XLNet、XLM等模型的实现，近两年Pytorch生态日趋成熟。因此，本文中使用Transformers的Pytorch支持来调用BERT模型。 检查cuda版本 深度学习模型如果没有GPU加持，训练速度几乎是无法忍受的，因此，在使用模型前请先确认GPU正常工作；另外，最新版本的Transformers需要Pytorch 1.5.0及以上版本，而Pytorch 1.5.0底层又依赖CUDA 10.2
bert 自己语料预训练pre-train、微调fine-tune；tensorflow/pytorch矩阵点乘、叉乘区别
weixin_42357472的博客
12-07 6061
矩阵点乘：对应位置直接相乘 矩阵叉乘：行向量的每一个元素乘以列向量中所有元素
预训练模型参数量越来越大？这里有你需要的BERT推理加速技术指南
Paper weekly
11-09 2230
©作者 | 徐超单位 | 微软亚洲互联网工程院研究方向 | 文本相关性、多语言扩展基于 Transformer 的预训练模型，尤其是 BERT，给各种 NLP 任务的 performanc...
BERT 预训练学习（数据：样本构建、输入格式；算法：transformer、mlm和nsp任务）
weixin_42357472的博客
12-02 4902
任务：MLM完形填空、下一句预测 数据：构建样本数据及label，输入格式 参考： **https://github.com/DA-southampton/TRM_tutorial/tree/main/BERT%E4%BB%A3%E7%A0%81%E4%BB%8E%E9%9B%B6%E8%A7%A3%E8%AF%BB **https://github.com/bojone/bert4keras/tree/master/pretraining **https://zhuanlan.zhihu.com/p/4
基于微调BERT的中文评论情感分类模型（支持CPU、GPU）
PXFQL的博客
12-15 4515
基于微调BERT的中文评论情感分类模型采用*ktrain*库进行文本分类0.分配GPU（CPU版略过）1.加载数据2.打乱数据3.预处理数据并构造一个中文trasnformer模型估计一个较好的学习率训练模型评估模型在新的数据上进行测试找到loss最大的样本在新的数据上进行测试保存模型，以便之后调用结果分析实验总结 迁移中文bert模型（chinese-bert-wwm），完成对20000余条评论数据的情感分类，分为0-很好，1-一般，2-较差。 学习到bert模型的强大之后，不禁感叹，之前比赛用的模型太垃
bert多GPU训练
woshiliulei0的专栏
01-14 5024
一、所需要的软件 1.tensorflow=1.14.0 2.nccl
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值