【深度学习】基于Transformers的大模型推理框架

于 2024-08-21 22:01:26 发布
阅读量98 收藏
点赞数
分类专栏： 深度学习 自然语言处理 PyTorch 文章标签： 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_52852138/article/details/141403811
版权

本文旨在介绍基于transformers的decoder-only语言模型的推理框架。与开源推理框架不同的是：

  • 本框架没有利用额外的开源推理仓库，仅基于huggingface，transformers，pytorch等原生工具进行推理，适合新手学习大模型推理流程。
  • 支持batch推理
  • 支持获得各种中间层状态，概率值，生成token等
  • 支持选择题形式QA和free-form形式QA任务

代码仓库：github仓库地址

如果你觉得有用，请点一个star。欢迎任何形式的交流

长命百岁️
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
大模型推理框架概述
吃果冻不吐果冻皮
10-07 2262
Text Generation Inference（TGI）是 HuggingFace 推出的一个项目，作为支持 HuggingFace Inference API 和 Hugging Chat 上的LLM 推理的工具，旨在支持大型语言模型的优化推理。FasterTransformer 库使用此参数对所有底层算法进行实时基准测试，并为模型的参数和您的输入数据（注意层的大小、注意头的数量、隐藏层的大小）选择最佳的一个。对于自注意力块和前馈网络块，FT 按行拆分第一个矩阵的权重，并按列拆分第二个矩阵的权重。
大模型并行训练、推理框架Deepspeed简介
Neleuska的博客
03-12 5306
介绍了微软Deepspeed大模型训练并行框架
深度学习大模型学习100tips
xw555666的博客
11-07 1万+
通过深入了解这些细节，并在实际项目中应用相关的知识，将能够更好地理解和利用大模型的潜力，不仅在学术研究中，也在工程实践中。通过不断探索新方法、参与项目和保持热情，并将其应用于各种领域，从自然语言处理到计算机视觉和自动驾驶。通过不断学习、实践和探索，可以不断提升自己在深度学习领域的技能和洞察力，同时也能为社会和行业带来创新和改进。从小规模的项目和模型开始，逐渐迭代和扩展到更大的模型，逐步积累经验，最终能够处理大模型和复杂任务。分享您的研究成果和代码，以获得反馈和建立声誉。
大模型推理框架Vllm和TensorRT-LLM在ChatGLM2-6B模型的推理速度对比
HUSTHY的博客
04-24 4230
这篇博客就专门对语言大模型推理框架Vllm和TensorRT-LLM在ChatGLM2-6B模型上的推理速度和效果进行一个对比。主要的内容分为三块，第一块简单介绍一下vllm和TensorRT-llM框架的特色和基本技术点，由于篇幅的原因关于技术的原理就不做多的介绍(每个技术点都可以拧出来写一篇文章，工作量非常大)；第二块内容就是介绍一下环境安装和重要的API，并且提供一个web推理服务；最后一块内容就是展示一下具体的推理案例，在推理速度和推理质量上进行对比
LLM大模型的7种推理框架分析
05-24 747
LLM大模型的7种推理框架分析
人工智能深度学习100种网络模型，精心整理，全网最全，PyTorch框架逐一搭建
weixin_42878111的博客
06-03 1万+
大家好，我是微学AI，今天给大家介绍一下人工智能深度学习100种网络模型，这些模型可以用PyTorch深度学习框架搭建。模型按照个人学习顺序进行排序
深度学习：transformer模型
热门推荐
皮皮blog
12-10 5万+
Google于2017年6月发布在arxiv上的一篇文章《Attention is all you need》，提出解决sequence to sequence问题的transformer模型，用全attention的结构代替了lstm，抛弃了之前传统的encoder-decoder模型必须结合cnn或者rnn的固有模式，只用attention，可谓大道至简。文章的主要目的是在减少...
大模型训练和推理
weixin_45325331的博客
02-27 2705
大模型训练moe是指混合专家（Mixture-of-experts，简称MoE）的，这是一种用于提高大型神经网络性能的技术，它可以将模型的一部分替换为多个专家，每个专家只负责处理一部分输入数据，从而增加模型的参数量和表达能力，同时减少计算量和训练时间。指令可以作为模型的输入的一部分，也可以作为模型的输出的一部分，具体取决于任务的类型。上下文扩展技术的，这是一种用于提高大型语言模型（LLM）对长文本的处理能力的技术，它可以让模型在不增加参数量的情况下，扩展其注意力范围，从而提高模型的语言理解和生成能力。
用 tensor-parallel 多卡并发推理大模型
哦豁灬
03-02 1159
利用 tensor-parallel 把模型训练与推理的 workload 平均分布到多块 GPU，一方面可以提高推理速度，另一方面 vram 的负载平衡也让复杂的 prompt 能被轻松处理。tensor parallel 在主流的推理框架已经很好的支持了，在这里，我们把我们的推理逻辑平均分布到了两块 GPU 上。
openai-基于Pytorch的OpenAI大语言模型的微调脚本实现-大模型微调实战.zip
02-17
在IT领域，特别是人工智能和深度学习的分支，大模型微调是提高模型性能和适应特定任务的关键技术。本文将深入探讨如何使用PyTorch库来微调OpenAI的大语言模型，以便实现更高效、更精准的自然语言处理任务。PyTorch是...
毕设&课程作业_基于深度学习框架pytorch实现的中文文本分类.zip
01-16
《毕设&课程作业_基于深度学习框架PyTorch实现的中文文本分类》 本项目是一份关于计算机科学领域的毕业设计或课程作业，其主要任务是利用深度学习框架PyTorch来实现中文文本的分类。这是一项具有挑战性的任务，因为...
基于微调的法律ChatGLM模型.zip
06-05
用户需要安装必要的深度学习框架，如PyTorch或TensorFlow，以及相关的自然语言处理库，如Hugging Face的Transformers。此外，还需要配置GPU资源，以便于模型的训练和推理。项目内提供的完整教程将引导用户一步步完成...
Python-Keras深度学习QA模型
08-12
Keras是一个高级神经网络API，它构建在TensorFlow、Theano或CNTK等深度学习框架之上，提供了一个简洁、高效的方式来设计和训练深度学习模型。 **1. Keras简介** Keras的核心优势在于其易用性，它允许开发者快速地...
一个面向小白的大模型应用开发课程.zip
03-14
大模型是具有海量参数的深度学习模型，它们通常经过大规模的数据训练，具有强大的泛化能力和理解复杂任务的能力。这些模型能够处理文本、图像等多种模态的信息，因此被称为多模态模型。在实际应用中，多模态大模型...
[DL]深度学习_扩散模型
iazzz的博客
08-18 590
扩散模型运行原理首先sample一个都是噪声的图片向量，这个向量的shape和要生成的图像大小相同。通过Denoise过程来一步一步有规律的滤去噪声。Denoise的次数是事先规定的，给每一个步骤给定编号，最终步骤编号为1。从噪声到图像的过程称为Reverse Process雕像已经在大理石里边了，我只是把不要的部分凿掉。--米开朗基罗将相同的Denoise model反复进行图像去噪过程，但是每一个步骤阶段输入的噪声图像之间差别很大。
【论文阅读33】Deep learning optoacoustic tomography with sparse data
最新发布
weixin_44502754的博客
08-21 471
【论文阅读33】Deep learning optoacoustic tomography with sparse data
【深度学习】使用VScode远程服务器GPU进行训练
一个努力写代码的小菜鸟，目前主要从事图像算法，目标检测/分割，模型量化与部署的工作
08-21 267
我这里使用的是mobaxterm来传输文件，视频中的作者使用的是另外一种软件，大家都可以尝试使用，我是因为电脑中本来就有这个mobaxterm就懒得下载up推荐的那个了。下载好mobaxterm之后我们打开它，点击。打开vscode，在插件管理处安装插件。回车之后即可连接成功！
深度学习入门：卷积神经网络 | CNN概述，图像基础知识，卷积层，池化层（超详解！！！）
2301_76820214的博客
08-18 1047
CNN概述🤖卷积神经网络是深度学习在计算机视觉领域的突破性成果. 在计算机视觉领域, 往往我们输入的图像都很大，使用全连接网络的话，计算的代价较高. 另外图像也很难保留原有的特征，导致图像处理的准确率不高.卷积神经网络（Convolutional Neural Network）是含有卷积层的神经网络. 卷积层的作用就是用来自动学习提取图像的特征.卷积层池化层和全连接层构成。🐼卷积层负责提取图像中的局部特征；🐼池化层用来大幅降低参数量级(降维)；🐼全连接层类似人工神经网络的部分，用来输出想要的结果。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

长命百岁️

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值