轻松搭建本地大语言模型(一)Ollama安装与使用

Ollama 是一款开源的本地大语言模型运行框架,支持在 Windows、macOS 和 Linux 系统上运行,能够帮助用户轻松下载和使用各种大语言模型(例如deepseek、llama、qwen)。本文将详细介绍 Ollama 的安装步骤,帮助你快速搭建本地模型环境。

目标

  1. 在本地启动ollama
  2. 通过ollama下载大模型(deepseek、llama、qwen等)
  3. 通过命令行与大模型进行交互

一、安装Ollama

(一)Windows 系统安装

下载安装包
  • 访问 Ollama 官方网站 https://ollama.com/download,下载 Windows 安装包。

  • 安装包通常为 .exe 格式,下载完成后双击运行安装程序。

  • 安装路径默认为 C:\Program Files\Ollama

验证安装
  • 安装完成后,打开 PowerShell 或命令提示符,输入以下命令验证安装是否成功:

    ollama -v
    

    如果显示版本号(如 ollama version is 0.5.11),则表示安装成功。

(二)macOS 系统安装

一键安装
  • 打开终端,运行以下命令进行安装:

    curl https://ollama.ai/install.sh | sh
    
  • 安装完成后,运行 ollama -v 验证安装是否成功。

三、启动 Ollama 服务

安装完成后,需要启动 Ollama 服务,才能正常使用模型:

启动服务

  • 在终端或命令提示符中运行以下命令:

    ollama serve
    
  • 如果服务启动成功,将显示服务已启动的提示。

验证服务

四、下载并启动本地大模型

选择大模型

在该网站选择要启动的大模型https://ollama.com/library

例如,启动deepseek-r1:1.5b模型

ollama run deepseek-r1:1.5b

执行成功后即可对话

image-20250218212749045

至此,已经在本地成功启动大模型,可以通过命令行与大模型进行交互。

后面就可以通过open-webui、dify等可视化界面对接ai。

五、模型管理

(一)查看已下载模型

运行以下命令查看已下载的模型:

ollama list

(二)删除模型

如果需要删除某个模型,可以运行以下命令:

ollama rm model_name

(三)拉取模型

Ollama 提供了丰富的模型库,可以通过以下命令拉取模型:

ollama pull model_name

例如,拉取 deepseek-r1:7b模型:

ollama pull deepseek-r1:7b

其他的一些命令可以使用ollama help提示

六、总结

Ollama 提供了简单易用的安装方式,支持多种操作系统,能够帮助用户快速搭建本地大语言模型环境。通过本文的教程,你已经可以轻松安装并使用 Ollama,接下来可以尝试运行不同的模型,探索更多功能。

### 搭建Ollama大模型教程 #### 系统准备 为了成功搭建Ollama大模型环境,需确认目标机器满足最低硬件需求并完成必要的软件安装。通常建议的操作系统为Linux或macOS,Windows通过WSL2也可实现兼容[^2]。 #### 安装过程 按照官方文档指引下载对应版本的Ollama安装包。对于大多数用户而言,采用预编译二进制文件的方式最为便捷。执行命令如下所示: ```bash curl -fsSL https://ollama.com/install.sh | sh ``` 此脚本会自动处理依赖关系,并将Ollama服务部署至本地环境中。 #### 配置初始化 首次启动前应编辑配置文件`config.yaml`来设定基本参数,比如监听端口、日志级别等。该文件位于默认路径下(如未指定其他位置),可通过文本编辑器打开修改。 #### 启动服务 切就绪之后,利用以下指令激活Ollama后台进程: ```bash sudo systemctl start ollama.service ``` 或者直接调用可执行程序: ```bash ./ollama serve & ``` 此时访问http://localhost:8080即可验证Web界面是否正常加载。 #### REST API集成 借助内置RESTful接口能够轻松对接第三方应用程序。具体来说,发送HTTP请求给特定URL地址便可触发相应操作,例如上传新数据集用于增量学习或是查询当前在线实例状态等[^1]。 #### 自定义开发 针对特殊业务场景下的个性化诉求,允许开发者基于现有框架进步扩展功能模块。这涉及到编写Python或其他主流编程语言编写的插件代码片段,在此基础上实现诸如对话管理、意图识别等功能增强[^3]。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

丶只有影子

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值