AI工具下载篇(Dify、docker、ollama)(Windows)

此文章用于记录我的一些经验,大家有不懂的可以问一下,我将会完善更新


1.Ollama下载安装

OllamaGet up and running with large language models.https://ollama.com/

  •    直接进入网址下载ollama
  •    下载完后打开Windows PowerShell可以进行模型下载
  ollama run llama3  # 下载并运行 Llama3 模型
  ollama run deepseek-r1  # 运行国产深度求索模型 
  • 下载完成后要配置环境变量,让ollama加载的模型储存到D盘,重启生效:

  • 需要的模型可以直接去ollama官网进行搜索复制下载

  • 选择模型大小,然后复制模型下载命令

2.Docker下载安装

  • 下载docker和whl

这一部分先不写了,大家搜索一下应该会有,windows一定要下载whl虚拟环境,其他版本应该不要求

  • 修改镜像源

  • 把这些复制进去,这些目前是我使用的镜像源
{
  "builder": {
    "gc": {
      "defaultKeepStorage": "20GB",
      "enabled": true
    }
  },
  "experimental": false,
  "features": {
    "buildkit": true
  },
  "registry-mirrors": [
    "https://docker.m.daocloud.io",
    "https://docker.1panel.live",
    "https://registry.docker-cn.com",
    "https://cr.console.aliyun.com",
    "https://mirror.ccs.tencentyun.com",
    "https://docker.mirrors.ustc.edu.cn",
    "http://hub-mirror.c.163.com",
    "https://cr.console.aliyun.com/",
    "https://dockerproxy.com",
    "https://docker.rainbond.cc"
  ]
}
  • 注意

一定要改一下安装路径,改到D盘,这样你下载别的东西就不会下载到C盘了,如下:


3.Dify下载安装

  • Dify下载

Dify.AI · 生成式 AI 应用创新引擎新一代大型语言模型应用开发框架,轻松构建和运营生成式 AI 原生应用。http://difyai.com/直接进入Dify官网下载Dify包,解压到D盘:

  • 如果进不去github,可以多尝试几次。
  • 下载完成后开始改配置文件
  1. 打开Dify目录下,找env文件,将其重命名为.env,不要后缀:

     2.以记事本的打开方式打开,并加入两行代码,这些是为了让 更好的ollama调用大模型:

# 启用自定义模型
CUSTOM_MODEL_ENABLED=true

# 指定 Ollama 的 API 地址(根据部署环境调整 IP)
OLLAMA_API_BASE_URL=host.docker.internal:11434

      3.在docker目录下,打开shell命令,输入下面命令,启动:

docker compose up -d

        4.在浏览器中输入dify应用地址,应该就可以使用了:

http://127.0.0.1/

以上是我按照记忆的步骤,如有遗漏,欢迎指正

### 在 Windows 上安装和配置 Dify 与本地 Ollama #### 启用必要的 Windows 功能 为了顺利运行 DifyOllama,在 Windows 中需先启用一些功能。通过访问【控制面板】> 【程序】> 【启用或关闭 Windows 功能】,确保已勾选“适用于 Linux 的 Windows 子系统”、“虚拟机平台”,以及“远程差分压缩 API 支持”这些选项[^2]。 #### 安装 WSL2 及其相关组件 完成上述设置后,继续按照官方指南操作来获取最新版本的 WSL2 并安装所需的 Linux 发行版。这一步骤对于后续部署至关重要,因为许多现代 AI 工具依赖于 Unix 类操作系统环境下的特性支持。 #### 下载并启动 Ollama 大型预训练模型 根据需求选择合适的大型语言模型进行下载至本地机器上。此过程可能涉及特定命令或者图形界面工具的帮助,具体取决于所选用的产品形式。一旦成功加载完毕,则意味着可以在不联网的情况下利用该资源开展工作了。 #### 设置 Dify 连接至本地 Ollama 实例 当一切准备就绪之后,便可以着手调整 Dify 应用程序以便能够识别到刚刚建立起来的服务端点了。如果采用的是 Docker 方式来进行搭建的话,推荐使用局域网内的 IP 地址作为连接字符串的一部分;而对于那些基于原始代码构建的应用实例而言,“`http://localhost:11434`”通常是更为简便的选择[^3]。 #### 测试集成效果 最后但同样重要的一环就是验证整个系统的连通性和功能性。尝试发起一次简单的对话请求看看是否能正常收到回复消息吧! ```bash # 示例:测试API接口返回情况 curl -X POST http://<your_ollama_ip>:11434/api/v1/chat/completions \ -H 'Content-Type: application/json' \ -d '{"prompt":"你好世界","max_tokens":50}' ```
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值