此文章用于记录我的一些经验,大家有不懂的可以问一下,我将会完善更新
1.Ollama下载安装
OllamaGet up and running with large language models.https://ollama.com/
- 直接进入网址下载ollama
- 下载完后打开Windows PowerShell可以进行模型下载
ollama run llama3 # 下载并运行 Llama3 模型
ollama run deepseek-r1 # 运行国产深度求索模型
- 下载完成后要配置环境变量,让ollama加载的模型储存到D盘,重启生效:
- 需要的模型可以直接去ollama官网进行搜索复制下载
- 选择模型大小,然后复制模型下载命令
2.Docker下载安装
- 下载docker和whl
这一部分先不写了,大家搜索一下应该会有,windows一定要下载whl虚拟环境,其他版本应该不要求
- 修改镜像源
- 把这些复制进去,这些目前是我使用的镜像源
{
"builder": {
"gc": {
"defaultKeepStorage": "20GB",
"enabled": true
}
},
"experimental": false,
"features": {
"buildkit": true
},
"registry-mirrors": [
"https://docker.m.daocloud.io",
"https://docker.1panel.live",
"https://registry.docker-cn.com",
"https://cr.console.aliyun.com",
"https://mirror.ccs.tencentyun.com",
"https://docker.mirrors.ustc.edu.cn",
"http://hub-mirror.c.163.com",
"https://cr.console.aliyun.com/",
"https://dockerproxy.com",
"https://docker.rainbond.cc"
]
}
-
注意
一定要改一下安装路径,改到D盘,这样你下载别的东西就不会下载到C盘了,如下:
3.Dify下载安装
- Dify下载
Dify.AI · 生成式 AI 应用创新引擎新一代大型语言模型应用开发框架,轻松构建和运营生成式 AI 原生应用。http://difyai.com/直接进入Dify官网下载Dify包,解压到D盘:
- 如果进不去github,可以多尝试几次。
- 下载完成后开始改配置文件
- 打开Dify目录下,找env文件,将其重命名为.env,不要后缀:
2.以记事本的打开方式打开,并加入两行代码,这些是为了让 更好的ollama调用大模型:
# 启用自定义模型
CUSTOM_MODEL_ENABLED=true
# 指定 Ollama 的 API 地址(根据部署环境调整 IP)
OLLAMA_API_BASE_URL=host.docker.internal:11434
3.在docker目录下,打开shell命令,输入下面命令,启动:
docker compose up -d
4.在浏览器中输入dify应用地址,应该就可以使用了:
http://127.0.0.1/
以上是我按照记忆的步骤,如有遗漏,欢迎指正