TurboTransformers 加速预训练模型推理

最新推荐文章于 2024-02-28 17:59:09 发布
VIP文章 最新推荐文章于 2024-02-28 17:59:09 发布
阅读量1k 收藏 1
点赞数
分类专栏： 自然语言处理 文章标签： python 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u011613991/article/details/127249134
版权

TurboTransformers 是腾讯开源的BERT推理模型
TurboTransformers 支持 python 和 C++接口进行调用。TurboTransformers 支持 TensorFlow 和 PyTorch 预训练模型的载入。它可以作为 huggingface/transformers 的推理加速插件，通过加入几行 python 代码获得 BERT 模型的端对端加速效果。
和 ONNX-runtime、TensorRT、Torchlib 等推理优化引擎相比，TurboTransformers 在性能和使用方式上都具备优势。


使用方式：
1. 安装TurboTansformers容器环境
1.1 下载镜像
可参考官方github地址上的步骤进行构建，也可以直接下载官方已经构造好的cpu/gpu镜像（我是这么操作的）
docker pull thufeifeibear/turbo_transformers_cpu:latest
1.2 构造自己的容器
容器使用，参考菜鸟教程：Docker 容器使用 | 菜鸟教程

最低0.47元/天 解锁文章
FB1024
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
中文预训练ALBERT模型.zip
07-01
中文预训练ALBERT模型 概述 中文语料上预训练ALBERT模型：参数更少，效果更好。预训练小模型也能拿下13项NLP任务，ALBERT三大改造登顶GLUE基准、 一键运行10个数据集、9个基线模型、不同任务上模型效果的详细对比...
automodel.from_pretrained 使用本地缓存模型（huggingface.co 链接报错时可用）
消极的人永远是对的，积极的人选择勇往直前
05-09 1万+
huggingface.co 链接报错时可用
transformers学习笔记3
kawlyh的博客
01-20 2267
model
huggingface使用GPU推理
最新发布
我的博客
02-28 259
google/flan-t5-small 大模型 推理
transformers库的使用【二】tokenizer的使用，模型的保存自定义
一个小菜鸟的博客
04-01 1万+
使用标记器（tokenizer） 在之前提到过，标记器（tokenizer）是用来对文本进行预处理的一个工具。 首先，标记器会把输入的文档进行分割，将一个句子分成单个的word（或者词语的一部分，或者是标点符号） 这些进行分割以后的到的单个的word被称为tokens。 第二步，标记器会把这些得到的单个的词tokens转换成为数字，经过转换成数字之后，我们就可以把它们送入到模型当中。 为了实现这种能把tokens转换成数字的功能，标记器拥有一个词表，这个词汇表是在我们进行实例化并指明模型的时候下载
Hugging Face Transformers 之 AutoConfig 、AutoTokenizer、AutoModel from_pretrained()参数详解
luckyuxuan的博客
10-25 1万+
Hugging Face Transformers 之 AutoConfig 、AutoTokenizer、AutoModel from_pretrained()参数详解
预训练模型地址整理
weixin_36378508的博客
06-11 3737
Google原版bert: https://github.com/google-research/bert brightmart版roberta: https://github.com/brightmart/roberta_zh 哈工大版roberta: https://github.com/ymcui/Chinese-BERT-wwm Google原版albert[例子]: https://github.com/google-research/ALBERT brightmart版albert: https
深度模型推理加速的方法与实践-2篇.pdf
12-07
深度模型推理加速的方法与实践，共2篇。
ChatGLM3新一代对话预训练模型
11-07
1. **更强大的基础模型：** ChatGLM3-6B 的基础模型 ChatGLM3-6B-Base 采用了更多样的训练数据、更充分的训练步数和更合理的训练策略。在语义、数学、推理、代码、知识等不同角度的数据集上测评显示，**ChatGLM3-6B-...
TensorRT 实现深度网络模型推理加速
01-14
通过本文档将会了解到深度学习的应用场景，常规的部署方法及带来的挑战，基于这些挑战 NVIDIA 给出的高效解决方案 TensorRT 的介绍，性能及案例分享。
Keras预训练的ImageNet模型实现分类操作
01-19
本文主要介绍通过预训练的ImageNet模型实现图像分类，主要使用到的网络结构有：VGG16、InceptionV3、ResNet50、MobileNet。 代码： import keras import numpy as np from keras.applications import vgg16, ...
加载预训练模型（autoModel）
m0_59113542的博客
03-25 6305
严格意义上讲 transformers 并不是的一部分，然而 transformers 与 PyTorch 或 TensorFlow 结合的太紧密了，而且可以把 transformers 看成是 PyTorch 或 TensorFlow 的延伸，所以也在这里一并讨论了。transformers 内置了 17 种以这些模型的参数、用法大同小异。默认框架为 PyTorch，使用 TensorFlow 框架在类的前面加上 'TF" 即可。每种模型都有至少一个预训练模型，限于篇幅，这里仅仅列举。
Huggingface transformers 镜像使用，本地使用，tokenizer参数介绍
热门推荐
qq_40671063的博客
07-20 1万+
Huggingface transformers 镜像使用，本地使用，tokenizer参数介绍
python代码中指定单GPU某种多GPU训练
xiangfengl的专栏
01-11 1153
os.environ["CUDA_DEVICE_ORDER"] = "PCI_BUS_ID" os.environ['CUDA_VISIBLE_DEVICES']= '0, 1' #用0和1号GPU os.environ["CUDA_VISIBLE_DEVICES"] ="3" #使用3号卡
device_map参数 ChatGLM训练
人工智能曾小健
07-03 9297
是一种精度降低技术，它将模型的权重从32位浮点数转换为16位浮点数，这可以节省内存并提高计算速度，但可能会稍微降低精度。这可能是因为在多GPU环境中，开发者可能想要手动控制模型在哪个GPU或哪些GPU上运行，而不是简单地默认移到一个GPU上。方法，这可能意味着你的代码片段可能是更大代码环境的一部分，而这个更大的环境可能处理了多GPU的设备映射。，这意味着没有指定设备映射，因此代码默认在单一设备上（可能是主GPU或CPU）执行模型。，可以将模型的不同部分分配到不同的GPU设备上，以实现数据并行。
【深度学习】模型如何加载至 cpu 和 gpu
Danger的博客
05-04 2165
【深度学习】模型如何加载至 cpu 和 gpu
transformers库中的.from_pretrained()
qq_52852138的博客
12-28 1万+
Transformers库中的预训练模型加载函数.from_pretrained()
【AIGC】AIGC程序记录
feifeiyechuan的博客
07-14 491
【代码】【AIGC】AIGC程序记录。
ChatGPT-3.5-turbo 模型 API 体验
03-08 4453
最近，OpenAI 发布了 ChatGPT 新的模型。据 OpenAI 的官方消息，本次开放了 ChatGPT 和 Whisper 的模型 API，可以供用户使用并集成到他们的应用程序中。本次发布的 ChatGPT 的模型为 GPT-3.5-turbo，从 OpenAI 的官方网站上查询，已经可以查到这个模型的使用示例。本次发布的模型，能力上比之前开放的模型能力要强很多，同时在价格上还要更低，价格...
pytorch 预训练模型利用
12-21
使用PyTorch的预训练模型可以帮助我们快速构建和训练深度学习模型。预训练模型是在大规模数据集上进行训练的，并且已经学习到了一些通用的特征表示。我们可以利用这些预训练模型来进行迁移学习，从而加快我们自己的模型训练过程。 在PyTorch中，我们可以通过以下步骤来利用预训练模型： 1. 导入所需的库和模型类： ```python import torch import torchvision.models as models ``` 2. 创建预训练模型的实例： ```python model = models.resnet50(pretrained=True) ``` 这里以ResNet-50为例，通过设置`pretrained=True`来加载预训练的权重。 3. 使用预训练模型进行推理或微调： ```python # 输入数据 input = torch.randn(1, 3, 224, 224) # 前向传播 output = model(input) ``` 我们可以将输入数据传递给模型的前向传播函数，得到输出结果。 需要注意的是，预训练模型的输出通常是一个特征向量，我们可以根据具体任务的需求进行进一步的处理，例如添加全连接层进行分类。 此外，PyTorch还提供了许多其他的预训练模型，可以根据具体需求选择合适的模型。你可以在PyTorch官方文档的[模型列表](https://pytorch.org/vision/stable/models.html)中查找并了解更多关于不同模型的信息。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值