DeepSeek R1 8b 模型本地部署实践

工具

  • MacBook Pro M1 16G
  • Ollama
  • Docker
  • Open WebUI / ChatBox / Page Assist
  • Continue / IDEA / VSCode

步骤

1️⃣ 安装 Ollama

Ollama

  1. 访问 https://ollama.com/ ,下载并安装客户端,如果你的macos 系统,也可以使用homebrew来安装。

    brew install ollama
    
  2. 安装完成后,运行以下命令来确认安装成功。

    ollama --version
    

2️⃣ 部署 DeepSeek 模型

Ollama 提供了多个模型,可以直接下载,默认下载 7b ,如果你需要下载其他的,可以在后面 添加标签ollama run deepseek-r1 :1.5b, 或者 7b, 8b, 14b, 32b, 70b等。结合笔者电脑的配置,下载的是 8b

### 如何与 DeepSeek R1 8B 模型进行交互 对于像 DeepSeek R1 8B 这样的小型模型,由于其相对较低的资源消耗,在配置合适的硬件环境下可以较为轻松地实现本地部署和交互操作。通常情况下,这类大小的模型对显卡的要求不是特别苛刻,即使只依赖于 CPU 也能完成推理工作;不过为了获得更好的性能体验以及加速处理速度,建议配备具有至少 16GB 显存的 GPU 设备[^1]。 #### 使用指南 要在 Python 环境下加载并运行该模型,首先需要安装必要的库文件,比如 `transformers` 和 `torch` 或者其他支持框架。接着通过指定路径来加载预训练好的权重数据,并设置好输入格式以便向模型传递待处理的信息。最后调用预测函数即可得到输出结果。 #### 示例代码 以下是基于 Hugging Face 的 Transformers 库的一个简单例子: ```python from transformers import AutoModelForCausalLM, AutoTokenizer import torch tokenizer = AutoTokenizer.from_pretrained("path_to_DeepSeek_R1_8B_model") model = AutoModelForCausalLM.from_pretrained("path_to_DeepSeek_R1_8B_model") device = "cuda" if torch.cuda.is_available() else "cpu" model.to(device) input_text = "你好,世界!" inputs = tokenizer(input_text, return_tensors="pt").to(device) outputs = model.generate(**inputs, max_length=50) print(tokenizer.decode(outputs[0], skip_special_tokens=True)) ``` 这段脚本展示了如何初始化一个特定版本的语言模型实例(这里假设为 DeepSeek R1 8B),并将一段中文短语作为输入传给它,最终打印出由模型生成的回答内容。需要注意的是,“path_to_DeepSeek_R1_8B_model”应该替换成为实际存储有此型号参数的具体位置。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

AndroidKt

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值