小工匠

Xinference（Xorbits Inference）是一个功能全面且性能强大的分布式推理框架，专门用于各种AI模型的推理。无论是研究者、开发者还是数据科学家，都可以通过Xinference轻松部署自己的模型或内置的前沿开源模型。它支持多种形式的开源模型，并提供了WebGUI界面和API接口，极大地简化了模型部署和推理过程。

当涉及到⼤规模语⾔模型（LLMs）的管理、部署和使⽤时，使⽤像 Ollama 、 XInference 和 LocalAI 这些模型管理⼯具可以显著提升模型的可管理性，提⾼⼯作效率。Ollama 是⽤于私有化部署和运⾏⼤型语⾔模型的⼯具，⽀持 通义千问、羊驼 等多种模 型，私有化部署使⽤户没有⽹络连接的情况下也能使⽤这些先进的⼈⼯智能模型；ollama 还提供了模型库⽅便⽤户从中下载和运⾏各种模型；使⽤ ollama 开发者只需使⽤简单的命 令即可实现与模型的交互。

ollama 和 Xinference 管理模型，需要充分利用GPU， 故这里不选择使用Docker安装。备注：如果network_turbo文件不存在，北京一区、北京二区、北京三区等使用此命令设置相关代理。因为用的是云平台，所以需要根据映射的端口来访问Dify的服务 ，根据映射。目前机器学习框架镜像默认集成学术加速，需要手动开启学术加速代理。请在终端中使用以下命令开启学术加速。然后在终端重新启动一下docker。文件 ，然后在里面加入下面的配置。根据网速不同，等待片刻，即可。幕僚云按需租几台服务器。

ollama 和 Xinference 管理模型，需要充分利用GPU， 故这里不选择使用Docker安装。目录下，如果系统盘空间较小，建议将docker数据目录调整到其他可用空间更大的目，避免系统盘空间不足。备注：如果network_turbo文件不存在，北京一区、北京二区、北京三区等使用此命令设置相关代理。安装完成后，运行下面的命令来确认Docker已经正确安装并且可以正常工作。目前机器学习框架镜像默认集成学术加速，需要手动开启学术加速代理。添加Docker的APT仓库到你的系统中。

Dify 是一款开源的 **LLM（大语言模型）应用开发平台**，旨在帮助开发者快速构建、部署和管理基于大语言模型的智能化应用。