DeepSeek R1本地部署(保姆级教程)

本地部署AI大模型使用Ollama框架:

官方网址:Ollama

点击:Download进行下载

安装一直点击下一步

在终端输入ollama命令查看即安装成功

 回到Ollama官网

搜索框输入:deepseek-r1

 根据电脑配置选择相对应的AI大模型

这里我拉取的是7b的大模型

在终端输入:ollama run deepseek-r1:7b

如果下载中断可以用:

 

下载成功后:

 

下载完成之后,使用ollama list查看拉取到模型

再输入指令:ollama run 模型名 启动大模型

最后:可以使用AI啦

 

运行在浏览器上面:

可以使用Google Chrome浏览器的 

搜索Page Assist

 

下载

 

下载完成后程序拓展坞打开:

在浏览器使用命令:Ctrl+Shift+L 打开

 

在设置中选择我们下载的模型: 

最后可以使用DeepSeek啦 

​​​​​​​

DeepSeek R1DeepSeek 公司推出的一款大语言模型,适用于各种自然语言处理任务。如果你希望将其成功部署到生产环境中,下面是一个保姆教程指南,帮助你完成从下载、配置到启动的一系列步骤。 --- ### **一、准备工作** #### 1. 安装依赖项 首先需要准备好运行 DeepSeek 模型所需的 Python 环境和其他必要工具: ```bash pip install transformers torch accelerate safetensors datasets ``` 如果计划使用 GPU 进行加速,则还需要额外安装 CUDA 相关库。 #### 2. 下载权重文件 访问 Hugging Face Model Hub 或者官方提供的链接获取预训练模型参数,并解压放置在一个固定目录下比如 `/path/to/deepseek-r1`。 --- ### **二、编写加载脚本** 接下来创建一个简单的 python 文件用于测试模型是否能够正常工作: ```python from transformers import AutoTokenizer, AutoModelForCausalLM # 初始化分词器与模型实例化过程. tokenizer = AutoTokenizer.from_pretrained("/path/to/deepseek-r1") model = AutoModelForCausalLM.from_pretrained("/path/to/deepseek-r1") def generate_text(prompt): inputs = tokenizer.encode_plus( prompt, return_tensors="pt", max_length=50, truncation=True) outputs = model.generate(**inputs,max_new_tokens=60,) result = tokenizer.decode(outputs[0], skip_special_tokens=True) print("Generated Text:",result) if __name__ == "__main__": input_sentence = "你好" generate_text(input_sentence) ``` 上述代码片段展示了最基础的功能演示——给定一段文字作为输入生成对应的回复内容出来。 --- ### **三、设置 API 接口服务于外部客户端通讯** 为了方便其他程序调用该 LLM 能力可以考虑构建 RESTful Web Service 方面的技术栈如 FastAPI 来简化流程如下所示: ```python import uvicorn from fastapi import FastAPI from pydantic import BaseModel from typing import List app = FastAPI() class TextInput(BaseModel): text :str @app.post('/predict') async def predict(text_input:TextInput)->List[str]: output_texts=[] generated_result=generate_text(text_input.text) # 调用前面定义函数 output_texts.append(generated_result ) return {"predictions":output_texts} if __name__=='__main__': uvicorn.run(app,port=8000 ,host='localhost ') ``` 通过此段落可以看出我们建立了一个 POST 请求监听地址 '/predict', 用户提交包含待预测文本的对象即可得到结果返回值. --- ### **四、优化性能与稳定性** 对于大规模应用场景来说仅依靠单机版解决方案难以满足需求因此建议采取以下措施进一步改善整体表现 : - 利用混合精度训练(FP16/BF16). - 分布式数据并行 DDP 技术扩展吞吐量上限. - 增加缓存机制减少重复计算次数加快响应速率.
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值