私有化部署的Qwen3小参数模型究竟能不能打？-CSDN博客

本文链接：https://blog.csdn.net/2401_85375151/article/details/147803531

Qwen3的大模型在五一假期前发出来了，包括Qwen3-235B-A22B、Qwen3-30B-A3B、Qwen3-32B、Qwen3-14B、Qwen/Qwen3-8B、Qwen3-1.7B和Qwen3-0.6B。前两天还有14B和32B的量化版模型放出来。

这里Qwen3-235B-A22B、Qwen3-30B-A3B是多专家模型，前者总参数235B，激活参数22B；后者总参数30B，激活参数3B。对比DeepSeek-R1版本，也是多专家模型，总参数671B。

Qwen3这次推出的也全是“推理”模型，但是更加灵活，可以关闭“推理”模式，这样就可以灵活地处理不同的需要。而且支持用户自己决定要不要开启“推理”模式。如果要响应迅速的话可以在问题后面加“/no think”就会关闭“推理”模式。

Qwen3-235B-A22B大参数的模型，我们在自己的电脑和服务器上是没法部署的。但是几个大参数模型的效果大家可以在通义千问的App里尝试使用。也可以登录chat.qwen.ai使用。

考虑到小参数模型，在个人消费级电脑上可以部署和使用，在App和官网上没有提供使用。

为此，我特地在学校的3090消费级显卡上进行了测试，为后续作为“校园贾维斯”做一些探索。

后台我同时部署了8B、4B、1.7B和0.6B四个模型。模型的部署代码是自己写的，没有用额外的框架，可以进一步节省额外资源的消耗。在英伟达3090显卡的推动下，这4个模型包括一个嵌入模型和一个重排序模型，可以全部同时部署上去。尤其是从显存的占用来看，8B、4B、1.7B和0.6B四个模型，外加一个嵌入模型和一个重排序模型总共占用了16G左右的显存，而一张3090的显卡有24G显存。因此可以说，同时部署这些模型也没有什么大的压力。

测试的客户端还是我们的老朋友“车厘子工作室”CherryStudio。

测试的问题

小明的爸爸一共有三个儿子，已知第一个儿子叫大毛，第三个儿子叫三毛。那么小明的爸爸的第二个儿子叫什么？

注意

下面是测试的效果，我做了录屏，为了节省时间，2倍速进行播放。

从这个问题的答案来看，8B和4B参数的模型质量和速度都很不错，但是1.7B和0.6B参数的模型速度很快，但质量不够理想。1.7B参数的模型的回答是错的，而0.6B参数模型的结论是对的，但是中间过程是错的。

因此基本可以肯定，对于较为复杂的推理来说小参数模型还是有比较大的差距。因此，我会更看好他的速度，而准确性则依靠知识库来解决。也就是说，用来做简单的行政事务性的政策咨询类智能体，0.6B的Qwen3也可以解决问题了。平均每秒40tokens的输出速度已经可以完美解决大多数问题了。

这是0.6BQwen3的知识库回答效果。没有用重排序模型，目前版本的车厘子工作室只能用硅基流动的。

这是1.7B参数的Qwen3的知识库回答效果——

这是4B参数的Qwen3的知识库回答效果——

这是8B参数的Qwen3的知识库回答效果——

我可能会倾向于4B的那个版本。

你觉得哪个更好呢？欢迎留言探讨！

如何学习AI大模型？

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。