【AI】Deepseek本地部署探索,尝试联网搜索

前言

1月下旬,Deepseek-R1横空出世,其依靠堪比GPT-o1的推理能力,训练成本及使用成本均只有gpt几十分之一甚至百分之一的超高性价比,以及它足够“OPEN”的特性直接暴打人工智能的资本行业,本着求实求新的精神,本人体验了一段时间在线的Deepseek-R1,给出评价:
牛逼!说话一股人味,而不是AI味!
虽然在线模型很好用,但是架不住用的人太多(还有很多境外的网络攻击,现在已经限制仅+86手机号可注册使用,攻守异形了属于是),联网搜索总是无法使用,而且API平台也显示正在维护,所以我把目标看上了本地部署,当然现在要想部署完整版的Deepseek-R1是明显不可能的,玩玩蒸馏版本还是可以的,不过蒸馏版本并不是满血Deepseek,它实际上是由qwen2.5和llama微调剪枝训练出来的,所以体验上肯定比不上官网的Deepseek-R1,但是具体怎么样,就看部署后的测试表现了。

准备工作

  1. ollama,用于部署各种开源模型,并开放接口的程序
  2. Deepseek-R1:32B,蒸馏后的模型,这是本次的重点,按照自己的电脑硬件进行选择,这里我使用的是4090搭配64G
### Deepseek R1 的本地部署与网络连接配置 #### 准备工作 为了成功在本地环境部署 Deepseek R1 并实现联网功能,需先完成必要的安装准备。这包括确认硬件条件满足最低要求以及软件环境的搭建[^2]。 #### 下载模型文件 访问指定路径下载所需版本的 Deepseek R1 模型文件到本地缓存目录下: ```bash /home/用户名/.cache/huggingface/hub/models--DeepSeek-R1-Distill-Qwen-7B/snapshots/ ``` 注意替换 `用户名` 为实际使用的账户名称[^1]。 #### 配置网络设置 对于希望使 Deepseek R1 能够通过互联网获取更新或与其他服务交互的情况,在启动前应适当调整防火墙规则和代理服务器设定以允许外部通信。如果是在企业内部署,则可能还需要遵循特定的安全策略来确保数据传输安全性和合规性。 #### 启动与验证 当一切就绪之后,可以通过命令行工具或其他图形界面应用程序加载已保存于本地磁盘上的预训练权重参数,并测试基本的功能是否正常运作。此时应该能够观察到即使断开Internet也不会影响核心算法逻辑执行的效果;而对于那些依赖在线资源的任务则会按照预先定义的方式处理异常状况或者提示用户采取相应措施恢复连通状态。 ```python from transformers import AutoModelForCausalLM, AutoTokenizer tokenizer = AutoTokenizer.from_pretrained("/home/用户名/.cache/huggingface/hub/models--deepseek-ai--DeepSeek-R1-Distill-Qwen-7B/") model = AutoModelForCausalLM.from_pretrained("/home/用户名/.cache/huggingface/hub/models--deepseek-ai--DeepSeek-R1-Distill-Qwen-7B/") ```
评论 10
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值