Dify+华为昇腾服务器配置embedding与rerank模型服务

susu_l_hx

已于 2025-01-16 11:35:16 修改

阅读量3k

点赞数 19

文章标签： embedding 语言模型华为服务器

于 2025-01-15 14:17:14 首次发布

本文链接：https://blog.csdn.net/susu_l_hx/article/details/145159429

版权

一、问题背景

现在基于RAG的大模型服务太火了。做RAG除了LLM以外，就离不开embedding和rerank模型，因此官方昇腾社区已经更新了相关镜像mis-tei，但是按照指示在服务启动过程中却遇到了一些坑，例如按照如下命令启动容器：

docker run -e ASCEND_VISIBLE_DEVICES=0 -itd --name=tei --net=host \
-v /home/data:/home/HwHiAiUser/model \
-e http_proxy=<ip:port> \
-e https_proxy=<ip:port> \
--entrypoint /home/HwHiAiUser/start.sh \
mis-tei:6.0.RC3-800I-A2-aarch64  BAAI/bge-reranker-large 127.0.0.1 8080

发现容器不能正常启动，docker ps -a显示容器exited，手动启动也没有办法成功。docker logs <container_id>查看显示：

Model 'bge-reranker-large' exists:
/home/HwHiAiUser/start.sh : line 74: npu-smi: commond not found
Available device not found

二、bug解决思路与方案：

1、从log来看，像是容器中没有把昇腾的NPU挂载成功，先更换启动容器脚本，进入容器手动启动.sh文件查看情况。

docker run -e ASCEND_VISIBLE_DEVICES=0 -itd --name=tei --net=host \
-v /home/data:/home/HwHiAiUser/model \
-v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi \
-v /usr/local/Ascend/driver:/usr/local/Ascend/driver \
--entrypoint /bin/bash \
mis-tei:6.0.RC3-800I-A2-aarch64

这时候发现容器可以正常启动，而不是exited了，docker exec -it <容器ID> bash 进入容器后，执行 npu-smi info，这个时候不会再报npu-smi: commond not found错误信息了。

然后手动执行bash /home/HwHiAiUser/start.sh。这时候发现服务log正常打印~~~说明问题就是由于之前的容器启动语句中没有把昇腾的NPU驱动挂载成功导致的。

因此最终简单修改下驱动语句即可：

docker run -u root -e ASCEND_VISIBLE_DEVICES=0 -itd --name=tei --net=host \
-e HOME=/home/HwHiAiUser \
--privileged=true  \
-v /home/data:/home/HwHiAiUser/model \
-v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi \
-v /usr/local/Ascend/driver:/usr/local/Ascend/driver \
-e http_proxy=<ip:port> \ #网络物理隔离的情况可以省略
-e https_proxy=<ip:port> \ #网络物理隔离的情况可以省略
--entrypoint /home/HwHiAiUser/start.sh \
mis-tei:6.0.RC3-800I-A2-aarch64  BAAI/bge-reranker-large 127.0.0.1 8080

至此，容器可以正常启动，进行测试：

curl 127.0.0.1:8080/rerank \
    -X POST \
    -d '{"query":"What is Deep Learning?", "texts": ["Deep Learning is not...", "Deep learning is..."]}' \
    -H 'Content-Type: application/json'

可正常返回结果。