LLM | Ollama 安装、运行大模型(CPU 实操版)

1. 操作步骤

1.1 安装

# 通过 homebrew 安装
brew install ollama

1.2 验证(可跳过)

# 输出命令使用提示则安装成功
ollama --help

1.3 启动服务端

# 启动 ollama 服务(默认在 11434 端口,模型文件在 ~/.ollama)
ollama serve

1.4 跑通第一个模型

# 新开一个终端窗口,执行如下命令(将下载并运行 Qwen2 的 0.5B 的 Chat 模型)
ollama run qwen2.5:0.5b-instruct

2. 参考资料

2.1 Ollama

GitHub

https://github.com/ollama/ollama

3. 资源

3.1 Ollama

library(模型工厂)

https://ollama.com/library

### 如何在本地环境中部署Ollama大模型 #### 下载并安装Ollama 对于Windows用户,访问官方提供的下载页面[^2]。打开该网站后,选择适用于作系统的本,在此情况下为Windows,并按照指示完成安装过程。 #### 配置环境 确保计算机满足运行大型语言模型所需的硬件条件,包括足够的内存和处理能力。虽然具体需求取决于所选模型大小,但通常建议至少有8GB RAM以及支持CUDA的GPU来加速计算性能(如果打算利用NVIDIA GPU的话)。不过请注意,某些小型模型可以在CPU上有效工作而无需专门图形卡的支持[^3]。 #### 使用命令行管理Ollama 一旦成功安装Ollama服务端程序之后,可以通过一系列简便易懂的CLI(Command Line Interface)指令来进行进一步的作: - `ollama serve`:启动Ollama服务器例。 - `ollama create <model_name>`:基于指定路径下的模型文件创建新的LLM例。 - `ollama show <model_name>`:查看特定模型的相关信息。 - `ollama run <model_name>`:执行选定的大规模预训练模型;首次调用时会自动尝试获取远程资源。 - `ollama pull <repository>/<image>:<tag>`:从未知源提取镜像到本地存储区。 - `ollama push <repository>/<image>:<tag>`:上传自定义修改后的模型至远端仓库分享给他人使用。 - `ollama list`:展示当前机器上的所有可用模型列表。 - `ollama ps`:列举处于活动状态的服务进程详情。 - `ollama cp <source> <destination>`:现不同位置间的数据迁移功能。 - `ollama rm <model_name>`:移除不再需要的模型释放空间。 这些基本命令提供了管理和交互所需的一切工具,使得即使是初次接触这类技术的人也能轻松入门[^4]。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值