使用 NPU 加速 DeepSeek 推理

如今，从高校教授到中小学生，从科技工作者到普通百姓，DeepSeek 已成为不可或缺的智能助手，赋能千行百业，推动社会迈向智能化新时代。它的出现不仅是一次技术革新，更是一场深刻的社会变革。

然而，当我们使用在线版大模型时，常常会遇到卡顿的现象。这是由于用户数量庞大，服务器负载过高，导致响应延迟。此外，在线大模型还存在隐私泄露的风险，因为用户数据需要上传至云端进行处理。相比之下，本地大模型展现出显著的优势。它的响应速度更快，且彻底消除了敏感信息上传云端可能带来的泄露风险。

为了亲身体验本地大模型的优势，我们在幽兰本上部署了 DeepSeek 大模型，并分别测试了基于 CPU 和 RKNPU 的两种推理引擎，以对比 NPU 对推理速度的影响。其中，RKNPU 是瑞芯微电子（Rockchip）推出的神经网络处理单元，专为边缘计算和嵌入式 AI 应用设计。它以高效能、低功耗和高集成度为核心特点，能够在资源受限的设备上高效执行 AI 推理任务。正因如此，RKNPU 已成为智能摄像头、无人机、机器人、智能家居等领域的理想选择，广泛应用于实时人脸识别、目标跟踪、语音识别、视觉导航等场景，为智能化应用提供了强大的底层支持。

下面我们来实际体验一下 NPU 推理，看看它的可靠性以及资源消耗情况。我的第一个问题是，请计算10+5的值。AI 的回答稍显啰嗦，但结果是对的，如下图所示：

接下来，我问了一个当下很多人感到困惑的一个问题：你觉得青少年应该学习编程吗？

AI 的回答非常全面，它先对问题进行了分析，然后进行了总结，由于文字太多，这里只列出最后总结的部分：

个人认为，这个答案非常客观，既没有过度夸大编程的好处，鼓动所有人都去学习编程，也没有宣扬“编程无用论”，断言程序员已经过时。对于那些仍在犹豫是否让孩子学习编程的家长来说，这或许能提供一个有价值的参考。

那么我们怎么知道这个推理是在使用 NPU 而不是 CPU呢？我运行了一个 top 命令，监控 CPU 的使用情况。当 NPU 在推理时，CPU 的使用情况如下：

幽兰本有8个CPU，但在使用NPU推理时，只使用了两个 CPU，可见其大部分使用的是 NPU。

作为对比，我也试验了 CPU 推理。在使用 CPU 推理时，响应速度显著下降，且 CPU 几乎处于满负荷运行状态，系统资源被大量占用，导致整体效率大幅降低。CPU 的使用情况如下：

它使用了7.8个 CPU，整个幽兰本的 CPU 差不多完全被它消耗了。

针对这些问题，我也咨询了云端的大模型。使用云端大模型时，由于网络传输的延迟，每个问题通常需要等待约10秒左右才能得到回复。相比之下，本地部署的 DeepSeek 则能够实现即时响应，几乎没有任何延迟。特别是在推理过程中，NPU 的表现远超 CPU，不仅推理速度更快，而且 CPU 占用率极低，用户在进行推理的同时，依然可以流畅运行其他程序，完全不受影响。

从以上对比可以看出，本地推理在响应速度上具有显著优势。如果您同时对隐私保护和数据安全有较高要求，本地推理无疑是最佳选择。

不过，需要指出的是，上面测试NPU情况使用的是1.5B参数的模型（B代表十亿），因此在回答一些概念性问题时，其内容的丰富性和深度与云端大模型相比仍有一定差距。然而，如果问题集中在技术领域，两者的表现几乎不相上下，本地推理同样能够提供高质量的回答。

-END-

【盛格塾】

正心诚意，格物致知

以人文情怀审视软件，以软件技术改变人生

格友公众号

盛格塾小程序

扫描上方二维码或在微信中搜索“盛格塾”小程序

可以阅读更多文章和有声读物

往期推荐

格友会讲GPU系列新春开场

本地运行DeepSeek大模型

U-BOOT的本地控制台输出

以物为师：苦寻黑屏背后的元凶