强化学习曾小健

肯定很多人想知道triton干啥的，学习这个有啥用？这里简单解释一下：triton可以充当服务框架去部署你的深度学习模型，其他用户可以通过http或者grpc去请求，相当于你用flask搭了个服务供别人请求，当然相比flask的性能高很多了triton也可以摘出C-API充当多线程推理服务框架，去除http和grpc部分，适合本地部署多模型，比如你有很多模型要部署，然后分时段调用，或者有pipeline，有了triton就省去你处理显存、内存和线程的麻烦注意，还有一个同名的。

总的来说,Triton推理服务器提供了一个强大的平台来部署和优化AI模型的推理,而Triton编程语言则为GPU编程提供了一个更易用和高效的工具。Triton是一个开源的推理服务框架,主要用于部署和优化AI模型的推理过程。Triton-IR(中间表示)将多维数据。一等公民,这使得编译器能更有效地进行优。多个模型,可以在单个或多个GPU。实时、批处理、集成和音视频流)自动执行多种重要的程序优化。数据自动存储到共享内存。

肯定很多人想知道triton干啥的，学习这个有啥用？这里简单解释一下：triton可以充当服务框架去部署你的深度学习模型，其他用户可以通过http或者grpc去请求，相当于你用flask搭了个服务供别人请求，当然相比flask的性能高很多了triton也可以摘出C-API充当多线程推理服务框架，去除http和grpc部分，适合本地部署多模型，比如你有很多模型要部署，然后分时段调用，或者有pipeline，有了triton就省去你处理显存、内存和线程的麻烦。

Triton Inference Server（简称Triton）是一个由NVIDIA开发的开源推理服务平台，它支持多种深度学习框架和模型格式，包括TensorRT。以下是将TensorRT模型部署到Triton的详细步骤。Triton提供了监控工具，可以监控模型的性能和状态。在模型存储库中创建一个config.pbtxt文件，用于配置模型的输入输出等参数。这里input_data.raw是您的输入数据文件，output.raw将存储推理结果。一旦模型就绪，就可以发送推理请求了。TensorRT模型部署。

修改。

原创 Oldpan2024年06月03日 09:17北京在实际的模型部署场景中，我们一般会先优化模型的性能，这也是最直接提升模型服务性能的方式。但如果从更全局方面考虑的话，除了模型的性能，整体的调度和pipeline优化对服务的性能影响也是很大。比如LLM中提的很多的`[1]，对整体LLM推理的性能影响就很大，这个不光光是提升kernel性能能够解决的问题。

Tritonserver是Nvidia推出的基于GPU和CPU的在线推理服务解决方案，因其具有高性能的并发处理和支持几乎所有主流机器学习框架模型的特点，是目前云端的GPU服务高效部署的主流方案。Tritonserver的部署是以模型仓库(Model Repository)的形式体现的，即需要模型文件和配置文件，且按一定的格式放置如下，根目录下每个模型有各自的文件夹。

比如访存合并，按照之前（从多面体优化传承下来）的思路，应该是往IR里面加个一两层循环之类的操作，而Triton的做法则是标记诸如“sizePerThread”之类的attribute，记录访存合并的策略并验证其合法性，然后通过陡峭地lowering直接生成代码。的讨论放在一起比较，就看的很清楚了，Triton的目标就是只考虑在CUDA生态下的优化，直接考虑要解决的问题就是Pre Fetching，访存合并，Shared Memory的分配与同步，这些显然都是CUDA生态下Kernel优化的要点；

🚀 纯c++实现，便于跨平台移植，可以在安卓上直接编译🚀 ARM平台支持NEON指令集加速，X86平台支持AVX指令集加速，NVIDIA平台支持CUDA加速，各个平台速度都很快就是了🚀 支持浮点模型（FP32), 半精度模型(FP16), 量化模型(INT8, INT4) 加速🚀 支持多卡部署，支持GPU + CPU混合部署🚀 支持Batch速度优化🚀 支持并发计算时动态拼Batch🚀 支持流式输出，很方便实现打字机效果🚀 支持python调用。

TensorFlowServing可以在单个服务器实例的生命周期内处理一个或多个版本的servable。在服务时，客户端可以请求特定模型的最新版本或特定版本ID。TensorFlowServing可以轻松部署新算法和实验，同时保持相同的服务器架构和API。TensorFlowServing提供与TensorFlow模型的开箱即用集成，但可以轻松扩展以服务于其他类型的模型。机器学习模型可能包括一个或多个算法（包括学习的权重）和查找或嵌入表。Servable的大小和粒度是灵活的。...

首先，尽管 4 位量化能够保持接近非量化版本的性能，但当量化降低到 3 位或更低时，就会出现明显的性能差异。作者的出发点是这样的，当前量化研究一般都是在预训练模型上做的，但相关工作对量化对指令微调后的 LLMs 的影响，以及量化 LLMs 的困惑度（perplexity）与其他基准测试性能之间的关系尚不清楚。本文中也会区分到测试集、测试标准。”的感觉，但是我们要看到，本文对于评价指标体系的深入，尤其是在量化这个分支任务上的评价体系的探讨，确实是领先的，在前面读到很多量化的论文，都还是相对忽略了这个问题。

对于 NLP 模型，我们还建议使用 StableEmbedding 层（见下文），这可以改善结果并有助于稳定的 8 位优化。请注意，默认情况下，所有少于 4096 个元素的参数张量都保持为 32 位，即使您使用 8 位优化器初始化这些参数也是如此。这样做是因为这样小的张量不会节省太多内存，并且通常包含高度可变的参数（偏差）或需要高精度的参数（批量规范、层规范）。为此，我们需要做两件事：(1) 在参数仍在 CPU 上时注册参数，(2) 使用新的所需超参数覆盖配置（随时随地）。如果这些不起作用，请参阅下文。

如果你没有GPU设备或者没有最新最好的GPU可用，GGUF是一个非常好的量化方法，因为它可以充分利用CPU和GPU的各自优势。尽管AWQ是一种新格式，但由于其较快的速度和较好的压缩质量，它正变得越来越受欢迎！这是一种类似于GPTQ的量化方法。，但对于那些在CPU或苹果设备上运行模型的人来说，这是一种非常好的方式。与GPTQ相比，AWQ可以显著提高推理速度，同时保持类似甚至更好的性能。Models的缩写，即GPT模型的后训练量化。，那么其专注于GPU的优化可能会成为一个劣势。的缩写，即GPT生成的统一格式。

TensorRT能加速模型吗？能！根据官方文档，使用TensorRT，在CPU或者GPU模式下其可提供10X乃至100X的加速。本人的实际经验中，TensorRT提供了20X的加速。TensorRT为什么能提升模型的运行速度？TensorRT是英伟达针对自家平台做的加速包，TensorRT主要做了这么两件事情，来提升模型的运行速度。TensorRT支持INT8和FP16的计算。深度学习网络在训练时，通常使用 32 位或 16 位数据。TensorRT则在网络的推理时选用不这么高的精度，达到加