前言
1月下旬,Deepseek-R1横空出世,其依靠堪比GPT-o1的推理能力,训练成本及使用成本均只有gpt几十分之一甚至百分之一的超高性价比,以及它足够“OPEN”的特性直接暴打人工智能的资本行业,本着求实求新的精神,本人体验了一段时间在线的Deepseek-R1,给出评价:
牛逼!说话一股人味,而不是AI味!
虽然在线模型很好用,但是架不住用的人太多(还有很多境外的网络攻击,现在已经限制仅+86手机号可注册使用,攻守异形了属于是),联网搜索总是无法使用,而且API平台也显示正在维护,所以我把目标看上了本地部署,当然现在要想部署完整版的Deepseek-R1是明显不可能的,玩玩蒸馏版本还是可以的,不过蒸馏版本并不是满血Deepseek,它实际上是由qwen2.5和llama微调剪枝训练出来的,所以体验上肯定比不上官网的Deepseek-R1,但是具体怎么样,就看部署后的测试表现了。
准备工作
- ollama,用于部署各种开源模型,并开放接口的程序
- Deepseek-R1:32B,蒸馏后的模型,这是本次的重点,按照自己的电脑硬件进行选择,这里我使用的是4090搭配64G