昇腾920B2成功运行bge-large-zh-v1.5后（text embeddings inference方式，也被称为TEI），如何注册到dify？（含代码）

---

引言

在上一篇中，我们抱着侥幸的，试一试的心态，竟然真的用昇腾显卡跑通了用于embedding的bge-large-zh-v1.5模型。

挑战华为昇腾920B2运行bge-large-zh-v1.5（二）
然而，我们都知道，咱们的博客都是电视连续剧，都得有前因后果。
那这个bge-large-zh-v1.5的后果是啥？
当然是把它给注册到dify平台上，用它来构建知识库啊！

再说会这个large-zh-v1.5模型，我们如果在英伟达nvidia显卡GPU的机器上，有多种方式进行运行。

我们之前介绍了一个特别方便的，也就是基于ollama的方式：

ollama部署bge-m3，并实现与dify平台对接
好吧，模型稍稍不一样，但方法大同小异哈。

但是，在昇腾上，真的资料很少，咱有把握的，也就是上一篇介绍的这个text embeddings inference的方式，也被称为TEI的方式。

说来奇怪哈，这个名字听起来应该知名度挺高的，但是dify平台就是不支持。

那怎么搞呢？咱们先解释一些基本概念，再来说解决方案。

什么是bge-large-zh-v1.5？

bge-large-zh-v1.5是一个专门针对中文优化的大型预训练语言模型。它基于BERT架构进行了改进，可以生成高质量的文本嵌入向量，这些向量能够捕捉文本的语义信息，广泛应用于各种NLP任务。

在昇腾920B2上运行bge-large-zh-v1.5

参考：

挑战华为昇腾920B2运行bge-large-zh-v1.5（一）

挑战华为昇腾920B2运行bge-large-zh-v1.5（二）

编写fastapi服务，将TEI转化成兼容 OpenAI 的方式

TEI的调用方式为：

curl -X POST http://127.0.0.1:8080/embed \
     -H 'Content-Type: application/json' \
     -d '{"inputs":"What is Deep Learning?"}'

翻遍了整个dify，发现这玩意儿，确实没办法直接注册成供应商。

因此，我们想办法把它转成兼容 OpenAI 的方式。

也就是：

curl -X POST http://127.0.0.1:8000/v1/embeddings \
     -H 'Con