dify部署RERANK模型

1。先创建一个xinference用于保存Xinference
2.安装xinference：
& docker run -d --name xinference
-v “C:\xinference:/xinference” -e XINFERENCE_HOME="/xinference"
-p 9997:9997 --gpus all
xprobe/xinference:latest `
xinference-local -H 0.0.0.0 --log-level debug

3.浏览器输入：http://localhost:9997 即可访问
4.下载RERANK模型
ollama pull qllama/bge-reranker-large
xinference会自动配置RERANK
5.dify配置RERANK模型
此处模型名称和模型UID相同，我们的xinference是在docker容器内的，所以，服务器URL是：http://host.docker.internal:9997