PC部署大模型实测思考

前言

英特尔在去年底正式发布了新一代移动端处理器，酷睿Ultra系列，堪称英特尔40年来最大的架构变革。该系列处理器的亮点之一就是首次在客户端芯片上加入了神经处理单元（NPU），从而大幅提升了笔记本的AI性能表现。这标志着个人电脑（PC）不再仅仅是执行日常简单任务的工具，而是变成了能够处理复杂AI运算的高性能设备，为开发者和用户提供了更广泛的创造能力。

随着各大厂商纷纷推出搭载新处理器的产品，在PC本地部署大模型已成为可能。本地部署大模型是指在本地计算资源（如个人计算机、服务器或专用硬件）上安装、配置和运行大型人工智能模型的过程，而不是通过云服务或远程服务器访问这些模型。这种部署方式允许用户直接在本地设备上处理和分析数据，而无需将数据发送到外部服务器。过去受限于硬件的计算能力，本地部署往往只适用于搭载了专业硬件的昂贵设备；但随着技术的发展，普通电脑用户现在也可以在笔记本这样的消费级电脑上部署大模型，领略AI的魅力。

本地部署大模型的优势主要体现在以下几个方面：

隐私和安全性：对于处理敏感或私有数据的应用，本地部署可以减少数据泄露的风险，因为所有数据都储存在本地，没有通过互联网传输。

性能和响应时间：本地部署可以减少网络延迟对响应时间影响，特别是在需要实时或近实时处理的应用中。直接在本地硬件上运行模型可能更快地获得结果。

可靠性：本地部署模型不依赖于持续的云服务连接，这意味着即使在网络连接不稳定或中断的情况下，应用仍然可以正常运行。

成本控制：虽然本地部署需要前期投资购买硬件设备，但从长远看可以避免持续的云服务费用，特别是对于需要大量计算资源的任务。

自定义配置：本地部署允许用户根据具体需求定制硬件和软件配置，提供更高的灵活性和控制能力。

在以往，本地部署大模型的最大缺点可能就是高性能计算硬件带来的不菲费用。如今，随着PC性能的进步，本地部署对普通用户已不再是遥不可及。不过，在PC部署大模型并非完美无缺。现阶段单一PC的性能仍不能与大型企业使用的专业设备媲美。可以预料的是，在PC上部署的大模型同企业提供的API在性能、效果等方面会存在一定差距，但这并不会掩盖本地部署的价值。下文为针对某款32GB内存版本的PC进行本地部署大模型的简单实测。

初步测试

本文选择了几款轻量模型并对它们在PC上的表现进行了简单评估，包括gemma-2b