鲲鹏+昇腾（910B4芯片）部署Embedding和rerank模型连接Dify

mzak

已于 2025-04-08 09:23:59 修改

阅读量1k

点赞数 6

分类专栏：昇腾鲲鹏 Dify 文章标签： embedding docker linux 语言模型 ai

于 2025-03-15 18:27:19 首次发布

本文链接：https://blog.csdn.net/mizhiakk/article/details/146282985

版权

昇腾同时被 3 个专栏收录

13 篇文章

订阅专栏

鲲鹏

9 篇文章

订阅专栏

Dify

4 篇文章

订阅专栏

配置

Atlas800I A2（910B4 8*32G）
系统：openEuler 22.03-LTS
驱动：24.rc3
参考文章：https://www.hiascend.com/developer/ascendhub/detail/07a016975cc341f3a5ae131f2b52399d
在这里插入图片描述

准备好模型使能镜像

mindie_docker_images/800IA2-mis-tei-6.0.RC3.tar

embedding-rerank-models

docker load -i mindie_docker_images/800IA2-mis-tei-6.0.RC3.tar //加载镜像

rar -xvf BAAI.tar  //解压在你想放的目录下，我放在/www/down

在这里插入图片描述
我这次部署是：bge-large-zh-v1.5 和 bge-reranker-large

部署

我是分别两个模型进行容器创建：

docker run -u root -e ASCEND_VISIBLE_DEVICES=0,1,2,3,4,5,6,7 -itd --name=tei-reranker --net=host \
-e HOME=/home/HwHiAiUser \
--privileged=true  \
-v /www/down/:/home/HwHiAiUser/model \
-v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi \
-v /usr/local/Ascend/driver:/usr/local/Ascend/driver \
--entrypoint /home/HwHiAiUser/start.sh \
swr.cn-south-1.myhuaweicloud.com/ascendhub/mis-tei:6.0.0-800I-A2-aarch64 \
BAAI/bge-reranker-large 127.0.0.1 8085

docker run -u root -e ASCEND_VISIBLE_DEVICES=0,1,2,3,4,5,6,7 -itd --name=tei-large --net=host \
-e HOME=/home/HwHiAiUser \
--privileged=true  \
-v /www/down/:/home/HwHiAiUser/model \
-v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi \
-v /usr/local/Ascend/driver:/usr/local/Ascend/driver \
--entrypoint /home/HwHiAiUser/start.sh \
swr.cn-south-1.myhuaweicloud.com/ascendhub/mis-tei:6.0.0-800I-A2-aarch64 \
BAAI/bge-large-zh-v1.5  127.0.0.1 8086

可以查看docker logs 镜像ID判断是否启动成功，最后出现ready就成功了
在这里插入图片描述

测试接口

rerank模型测试:
curl 127.0.0.1:8085/rerank \
    -X POST \
    -d '{"query":"What is Deep Learning?", "texts": ["Deep Learning is not...", "Deep learning is..."]}' \
    -H 'Content-Type: application/json'
embedding模型测试:
curl 127.0.0.1:8086/embed \
    -X POST \
    -d '{"inputs":"What is Deep Learning?"}' \
    -H 'Content-Type: application/json'