2.2 【模型部署】本地部署DeepSeek模型 --- LM Studio篇(下)

目录

三,LM Studio运行Deepseek模型

3.1 加载模型

3.2 使用模型

FAQ

1.Failed to load the model Exit code: 18446744072635812000


三,LM Studio运行Deepseek模型

3.1 加载模型

在models下创建Publisher\Repository目录,并将下载的模型放到该目录下。(注意!一定要在选定的目录下创建Publisher\Repository,否则本地模型不会被加载。)如下:

3.2 使用模型

如上节所示,我们加载完模型,就可以在本地使用模型,而无需联网了,如下:

FAQ

1.Failed to load the model Exit code: 18446744072635812000

问题描述:

```

🥲 Failed to load the model

Error loading model.

(Exit code: 18446744072635812000). Unknown error. Try a different model and/or config.

解决方案:

选择不同的runtime,如下我通过选择了CPU llama.cpp (Windows)解决该问题,可以根据自己的硬件配置来选择不同的runtime。

### 本地环境部署 DeepSeek R1 模型教程 #### 准备工作 为了成功部署 DeepSeek R1 模型,需先准备好必要的运行环境。这包括但不限于 Python 环境、依赖库以及特定版本的 Ollama 和 Open WebUI 工具。确保计算机满足最低硬件需求,特别是内存和处理器性能方面的要求[^1]。 #### 下载并安装所需软件包 通过官方渠道获取最新版的 Ollama 及其配套组件。对于 Windows 用户来说,建议采用预编译二进制文件来简化安装过程。完成下载之后,依照提示逐步执行安装向导直至结束[^2]。 #### 获取 DeepSeek R1 模型文件 访问项目仓库页面找到对应链接下载目标模型权重文件(如 `deepseek-r1:8b`),注意选择适合自己设备规格的参数规模以优化实际应用效果。保存至指定目录以便后续加载使用[^3]。 #### 启动服务与验证功能正常 启动命令行工具进入解压后的程序根目录位置输入相应指令开启 HTTP API 接口监听;随后利用 cURL 或 Postman 类似工具发送 POST 请求携带 JSON 数据体测试接口连通性和返回结果准确性: ```bash curl http://localhost:11434/api/generate \ -d '{"model":"deepseek-r1:8b","prompt":"请用五句话介绍量子计算","stream":false}' ``` 预期会接收到包含所请求文本生成内容在内的标准 JSON 响应结构。 #### 构建图形化操作界面 考虑到用户体验友好度,可以考虑集成第三方前端框架构建简易对话框形式的人机交流平台。比如借助于 Chrome 浏览器扩展——Page Assist 实现快速搭建原型的功能。只需简单几步就能让使用者像日常社交聊天那样轻松调用底层 AI 能力。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

高桐@BILL

分享快乐,快乐分享...

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值