Huggingface的文本生成推理工具包（Text Generation Inference Toolkit）

在快速发展的人工智能领域，大型语言模型已成为该领域最新突破的主角。

文本生成已成为一项突破性的功能，改变了机器理解和生成类似人类的文本的方式。正是由于这种流行，才推出了多种工具来简化和促进 LLM 的工作流程。

大型语言模型(LLM)迅速普及，几乎每周都会出现新的模型，这引发了用于容纳这项技术的托管选项的同步增长。在可用于此目的的众多工具中，Hugging Face 的文本生成推理 (Text Generation Inference，TGI) 尤其值得一提，因为它允许我们在本地机器上将 LLM 作为服务运行。

简单地说，它允许我们有一个端点来调用我们的模型。

本指南将探讨 Huggingface TGI 为何会改变游戏规则，以及如何利用它来创建复杂的 AI 模型，该模型能够生成与人类生成的文本越来越难以区分的文本。

什么是Huggingface Text Generation Inference？

Huggingface Text Generation Inference（也称为 TGI）是一个用 Rust 和 Python 编写的框架，用于部署和提供大型语言模型。它是一个可用于部署和提供 LLM 的生产工具包。

Huggingface 根据 HFOILv1.0 许可证开发和分发它，允许商业使用，前提是它作为所提供产品或服务中的辅助工具，而不是主要焦点。它解决​​的主要挑战是：

• 高性能文本生成。TGI使用张量并行（一种用于在多个 GPU 中拟合大型模型的技术）和动态批处理（在服务器内部动态批处理提示）等技术来优化流行开源 LLM 的性能，包括 StarCoder、BLOOM、GPT-NeoX、Llama 和T5等模型。
• 高效的资源使用。连续批处理、优化代码和张量并行等功能使 TGI 能够同时处理多个请求，同时最大限度地减少资源使用。
• 灵活性。TGI支持各种安全功能，如水印、logit 扭曲（通过向特定标记注入偏差值来修改特定标记的 logit）以进行偏差控制，以及停止序列以确保负责任且受控的 LLM 使用。

Huggingface 优化了一些 LLM 的架构，以便它们在 TGI 上运行得更快。这包括LLaMA、Falcon7B 和 Mistral 等流行模型。完整列表可在其文档中找到。