昇腾服务器（Atlas800系列）部署embedding和rerank模型

昇腾服务器部署embedding和rerank模型

1、确定安装环境

环境	型号	CANN版本
训练环境	Atlas800T A2服务器	CANN8.0.RC2及以上
推理环境	Atlas800I A2服务器	CANN8.0.RC2及以上
推理环境	Atlas300IDUO推理卡	CANN8.0.RC2及以上

2、获取下载包

资源包

可以使用wget命令下载：wget https://tools.obs.cn-south-292.ca-aicc.com:443/samples/llm/embed_rerank.tar.gz --no-check-certificate

3、基础环境配置

apt update && apt install curl build-essential autoconf libtool curl make g++ unzip wget libssl-dev pkg-config -y

4、创建一个conda环境

conda create -n Embedding --clone MindIE_1.0.RC2
conda activate Embedding

5、安装rust和protoc

• 安装rust

curl --proto '=https' --tlsv1.2 -sSf https://sh.rustup.rs | sh

出现下所示，选择1即可。

1) Proceed with standard installation (default - just press enter)
2) Customize installation
3) Cancel installation

• 安装protobuf v21.12
  软件包提供了protobuf的源代码。直接解压配置和编译

tar -zxvf protobuf-all-21.12.tar.gz
cd protobuf-21.12
./configure
make -j20
make install

在命令行执行如下命令：
export LD_LIBRARY_PATH=/usr/local/lib:$LIB_LIBRARY_PATH

6、安装应用依赖

在主目录：

pip install -r requirements.txt

• 安装Route

  • 进入$work_dir/TEI/text-embeddings-inference执行如下命令：

  ../../cargo/bin/cargo install --path router -F python -F http --no-default-features
  

安装成功后如图：

• 进入$work_dir/TEI/text-embeddings-inference/backends/python/server

  • 执行安装依赖和编译安装

make install 
pip install transformers==4.37.0
pip install safetensors==0.3.3
poetry install

安装后截图：

7、运行模型和测试

• embedding

  • 回到主目录下执行如下脚本：

start_im_embed.sh

• 测试：

curl 127.0.0.1:11027/embed \
    -X POST \
    -d '{"inputs":"What is Deep Learning?"}' \
    -H 'Content-Type: application/json'

推理结果

• rerank

  • 运行

    回到主目录下执行如下脚本：

start_im_rerank.sh

• 测试

  curl 127.0.0.1:11028/rerank \
      -X POST \
      -d '{"query":"What is Deep Learning?", "texts": ["Deep Learning is not...", "Deep learning is..."]}' \
      -H 'Content-Type: application/json'
  

推理结果

结论：
embedded 大概在20ms左右、rerank在30ms左右。速度可用~