企业必备：搭建大模型应用平台实操教程

最近AI智能体很火，AI智能体平台化产品肯定属于大公司的。但在一些场景下，尤其是对业务数据要求很高的公司，那就只能用私有大模型。不一定完全是为了对外提供服务，对内改造工作流也是需要的。所以

1. 我感觉未来大部分企业都会搞一个自己的大模型。大模型 + RAG的方案会非常成熟。
2. 很多企业都会通过AI agent的智能体来改造工作流，很多工作的效率会因此而大大提效。

这类开源的大模型应用平台有很多，例如dify，fastgpt，langchain等。这里我以dify为例。

一、下载开源模型管理应用：ollama

地址：https://ollama.com/ 这是一个专门管理开源大模型的工具，通过这个工具我们可以安装到市面上大多数开源大模型。同时，它还对大模型做了精简，让我们在使用时，对本地电脑的显存要求更小。

直接点击Download下载。下载后运行应用，直接下一步安装即可。备注：该工具默认安装在C盘，所以模型文件默认也是安装在C盘。

如果你是windows系统，想把模型文件放到其他盘，需要在环境变量里创建一个OLLAMA_MODELS，它的值就是填你想存放模型的路径。例如 D://ollama

下载完毕后，在终端：执行ollama run 开源大模型名称。这里大模型的名字，需要是全名。ollama支持的模型都在这里：https://ollama.com/library 可以根据自己的电脑配置来选择模型，目前谷歌新出的2B小模型，在某些能力上据说也达到了GPT3.5的水平，如果要下载gemma2B，你需要执行这个命令。ollama run gemma2:2b 一般来说，8G显存能勉强跑7B。24G显存能跑14B。

等待模型下载后，就可以在终端运行了。但是终端操作毕竟还有点麻烦。所以一般我们会部署一个网页来进行访问。这个选择有很多，我们可以用🏡 Home | Open WebUI 也可以用dify等支持调用ollama模型的各种agent的平台。ollama的常见命令如下：

ollama list 查看所有已安装的本地大模型。ollama pull 模型名称，更新模型。ollama rm 模型名称，删除模型。......

二、安装docker容器

docker是一个开源的应用引擎，它能够很好的管理我们安装的一些应用。避免多个应用之间环境冲突。

安装地址：https://www.docker.com/

直接安装之后，下一步即可。安装完之后，在终端输入：docker -v可查询是否安装成功。

使用docker有两个很大的好处：

1. 减少环境配置的麻烦。
2. 更好的应用程序隔离和资源管理。

缺点是，docker被墙之后，需要梯子才能下载。或者自行通过镜像解决。

三、安装开源项目dify

打开dify开源地址：https://github.com/langgenius/dify

只要4个命令：

git clone https://github.com/langgenius/dify.git
cd dify/docker
cp .env.example .env
docker compose up -d

这里安装可能会慢一点。安装完之后，可以在docker里看到所有程序都运行了。

dify运行后，我们可以使用第三方key来使用大模型，也可以添加本地大模型。包括我们刚刚配置的ollama下载的模型。

但是因为dify是在docker里安装的，属于在容器里，想要访问docker外面的程序，需要做一些配置。

配置地址参考这个网址，windows、mac、linux都有点不一样。https://docs.dify.ai/guides/model-configuration/ollama

像我的Mac，配置时候，调用地址用改成这个即可：http://host.docker.internal:11434, 所有配置如下图：

保存后，刷新一下网页。然后我们创建一个ChatBOT

我们先从最简单的聊天助手开始。比如售前、售后客服。

根据自己的需求，填入提示词、知识库等内容。最后选择自己的配置好的模型。点发布后就能对外使用了。

四、部署智能客服到微信

打开这个开源项目：https://github.com/hanfangyuan4396/dify-on-wechat 目前已经支持，企业微信和个人微信。

git clone https://github.com/hanfangyuan4396/dify-on-wechat

把代码下载到本地，

拷贝下来后，在docker文件夹下，找到docker-compose.yml文件。按照我下面框住的地方进行修改。

DIFY_API_BASE 本地部署，就按我截图写。API秘钥都按我下图路径获取。

保存后，直接运行docker命令即可。

cmd

cd dify-on-wechat/docker       # 进入docker目录
docker compose up -d           # 启动docker容器
docker logs -f dify-on-wechat  # 查看二维码并登录

运行成功后，在终端和docker容器里都会有一个微信二维码出来让你登录，用微信小号扫码登录后就能体验了。

今天分享的内容，对没有开发基础的同学会有点难。但其实很多开源项目难度也就这样。搞定一个项目，就搞定了大多数。祝大家都能顺利完成吧！！！