文本向量化推理框架（TEI）使用说明

Text Embedding Inference(TEI)是Huggingface发布的一个用于部署和服务开源Text Embedding、Sequence Classification 和 Re-Ranking模型的工具包。相较于原生Transformers它可显著提升推理速度，并便于部署为推理服务。目前支持的模型也比较多，详见下图：

根据硬件的不同，目前支持多种硬件架构下的推理，，包括CPU和不同型号的GPU，且针对不同的硬件提供了相应的docker安装包，如下图：

1. TEI Docker部署

本部分介绍在CPU环境下的Docker部署方案。

• step1：创建共享目录data，为便于模型管理，需要创建模型存储目录，避免每次都重新从Huggingface上拉取。也可以使用自己微调后的模型。