DeepSeek R1 32B 本地部署实战

#DeepSeek#

DeepSeek是一款基于人工智能的智能助手,专为提升工作效率和信息获取能力而设计。它结合了自然语言处理、机器学习和大数据技术,能够快速理解用户需求并提供精准的答案或解决方案。

DeepSeek的核心功能

智能问答

 DeepSeek可以回答各种问题,无论是科技、历史、文化还是日常生活中的疑问,它都能快速给出清晰、准确的答案。

文档分析与总结

支持上传文档(如PDF、Word等),DeepSeek能快速提取关键信息,生成摘要,帮你节省阅读时间。

多语言翻译

支持多种语言的实时翻译,无论是文本还是对话,都能轻松应对。

编程与技术支持

提供代码编写、调试建议和技术问题解答,是程序员和开发者的好帮手。

个性化推荐

根据用户的使用习惯和兴趣,推荐相关内容或工具,提升学习和工作效率。

实时信息检索

能够联网搜索最新信息,确保提供的答案和资料是最新、最准确的。

 DeepSeek本地化部署

硬件配置

CPU:Intel(R) Core(TM) i9-14900KF
GPU:NVIDIA GeForce RTX 4090
内存:64G DDR5
硬盘:4T PCIe

组件信息

Ollama 0.5.7 (https://github.com/ollama/ollama/releases,最新版本0.5.11)
DeepSeek:deepseek-r1:32b (https://ollama.com/library/deepseek-r1:32b)
Open Web-UI:0.5.12 (https://github.com/open-webui/open-webui)
操作系统:windows 11

安装步骤

1、下载并安装Ollama

截至2025/2/16,Ollama最新版本0.5.11,可以在github网站下载

2、根据硬件条件,选择合适的DeepSeek版本:4090内存24G,所以选择32b版本(20G)

3、用管理员身份启动命令行,输入如下命令开始下载对应的DeepSeek模型包:

ollama run deepseek-r1:32b

下载完毕后,进入DeepSeek对话状态,此时可以使用命令行进行交互,或者输入命令“/bye”退出对话状态。

4、使用pip安装open web-ui

pip install open-webui

使用open-webui serve启动web-ui

open-webui serve

终端出现这个提示后,再用浏览器打开如下网址:
http://localhost:8080
第一次运行时需要注册一个管理员的用户名和密码。随便输入即可。

 用管理员新打开一个命令行,输入下面命令启动 DeepSeek

ollama run deepseek-r1:32b

此时,就可以在浏览器中与DeepSeek进行对话:

### 部署 QWQ32B 大模型于本地环境 #### 准备工作 为了成功部署 QWQ32B,在开始之前需确认已安装必要的依赖项以及配置好开发环境。这通常涉及 Python 版本的选择、虚拟环境的创建以及其他特定库的安装。 #### 安装依赖包 确保拥有最新版本的 pip 和 setuptools 是很重要的,因为这些工具对于管理Python项目至关重要。可以通过执行以下命令来更新它们: ```bash pip install --upgrade pip setuptools wheel ``` 接着按照官方文档指示安装所需的其他依赖库,比如 PyTorch 或 TensorFlow 这样的深度学习框架[^4]。 #### 获取源码或预训练权重文件 下载 QWQ32B 的具体实现代码仓库或是通过官方渠道获取已经训练好的模型参数文件。注意遵循作者给出的具体指导说明来进行操作。 #### 设置环境变量 当一切准备就绪后,设置相应的环境变量以便能够顺利调用该模型。例如,在 Windows 上可通过 CMD 输入 `ollama -h` 来验证是否能正常识别命令;而在 Mac OS 中,则可以尝试启动 Dify 并连接使用 qwq 32b 大模型,随后访问 http://localhost 或者 http://127.0.0.1 测试网页界面是否可用[^1][^2]。 #### 启动服务 最后一步就是实际启动这个大型语言模型的服务端程序了。一般情况下会有一个专门用于启动服务器进程的脚本或者是可以直接使用的二进制可执行文件。根据所选平台的不同采取适当的方式激活它,并留意任何可能出现的日志输出信息以排查潜在问题。 #### 示例启动命令 (Linux/MacOS) 假设存在名为 `start_server.sh` 的 Shell 脚本来负责初始化整个过程的话,可以在终端里这样运行: ```bash ./start_server.sh ``` #### 示例启动命令 (Windows) 如果是基于 Windows 系统并且有批处理文件 `.bat` 文件用来简化启动流程,则可在命令提示符中键入如下内容: ```batch start_server.bat ``` 一旦上述步骤都顺利完成,应该就可以在个人计算机上体验到强大的 QWQ32B 模型所带来的功能和服务了。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值