为什么本地部署DeepSeek选择7B模型

不多说,上图表:

R1模型列表

ModelBase ModelDownload
DeepSeek-R1-Distill-Qwen-1.5BQwen2.5-Math-1.5B🤗 HuggingFace
DeepSeek-R1-Distill-Qwen-7BQwen2.5-Math-7B🤗 HuggingFace
DeepSeek-R1-Distill-Llama-8BLlama-3.1-8B🤗 HuggingFace
DeepSeek-R1-Distill-Qwen-14BQwen2.5-14B🤗 HuggingFace
DeepSeek-R1-Distill-Qwen-32BQwen2.5-32B🤗 HuggingFace
DeepSeek-R1-Distill-Llama-70BLlama-3.3-70B-Instruct🤗 HuggingFace

R1模型对比

来源:DeepSeek官方数据(deepseek-ai/DeepSeek-R1

可以看到,7B模型的数据大多数超出8B,而大小还小一点,所以选择是当然的。

ModelAIME 2024 pass@1AIME 2024 cons@64MATH-500 pass@1GPQA Diamond pass@1LiveCodeBench pass@1CodeForces rating
GPT-4o-05139.313.474.649.932.9759
Claude-3.5-Sonnet-102216.026.778.365.038.9717
o1-mini63.680.090.060.053.81820
QwQ-32B-Preview44.060.090.654.541.91316
DeepSeek-R1-Distill-Qwen-1.5B28.952.783.933.816.9954
DeepSeek-R1-Distill-Qwen-7B55.583.392.849.137.61189
DeepSeek-R1-Distill-Qwen-14B69.780.093.959.153.11481
DeepSeek-R1-Distill-Qwen-32B72.683.394.362.157.21691
DeepSeek-R1-Distill-Llama-8B50.480.089.149.039.61205
DeepSeek-R1-Distill-Llama-70B70.086.794.565.257.51633
### 如何在本地环境部署 DeepSeek-7b 模型 #### 准备工作 为了成功部署 DeepSeek-7b 模型,需准备如下工具和资源: - 安装 Python 环境以及 pip 工具。Python 版本建议不低于 3.8[^1]。 - 下载并安装 Ollama 软件包,这是用于管理和运行大型语言模型的重要组件之一[^2]。 #### 获取 DeepSeek-7b 模型文件 访问官方指定渠道获取 DeepSeek-7b 的预训练权重和其他必要配置文件。通常这些资料会被打包成压缩文件形式提供给用户下载。确保遵循官方网站上的指引完成这一过程。 #### 设置虚拟环境与依赖项管理 创建一个新的 Python 虚拟环境来隔离项目所需的库版本。激活该虚拟环境之后,通过 `requirements.txt` 文件安装所有必需的 Python 库。这一步骤有助于避免不同项目之间的冲突,并保持系统的整洁有序。 ```bash python -m venv my_deepseek_env source my_deepseek_env/bin/activate # Linux 或 macOS 用户 my_deepseek_env\Scripts\activate # Windows 用户 pip install --upgrade pip pip install -r requirements.txt # 假设存在一个名为 'requirements.txt' 的需求列表文件 ``` #### 加载与初始化模型实例 编写一段简单的脚本来加载已下载好的 DeepSeek-7b 模型参数,并对其进行基本设置以便后续调用。这里假设已经有一个叫做 `load_model.py` 的模块负责处理这部分逻辑。 ```python from transformers import AutoModelForCausalLM, AutoTokenizer def load_and_prepare_model(model_name="DeepSeek-r1:7b"): tokenizer = AutoTokenizer.from_pretrained(model_name) model = AutoModelForCausalLM.from_pretrained(model_name) return model, tokenizer ``` #### 测试模型功能 最后,在确保一切正常的情况下,可以通过向模型输入一些样例文本来进行初步的功能验证。如果一切顺利,则说明本地部署已完成,现在可以在不连接互联网的情况下自由地利用这个强大的 AI 助手了。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值