大模型芯片

自从ChatGPT问世以来，大模型取得了迅猛的发展。不仅是在ChatGPT本身这一自然语言处理领域取得了重要进展，而且在视频领域也有令人瞩目的大模型，比如DINOv2，它可以对视频图像进行语义理解。此外，SAM是一种能够对场景进行细粒度分割的模型。这些进展显示出我们正处于一个新的范式拐点，即大模型无处不在。

与此同时，主流的大模型架构——Transformer架构，也在ChatGPT的成功应用后引起越来越多的关注。许多研究和应用领域开始将传统的卷积神经网络（CNN）转向Transformer架构。

在大模型的落地应用方面，目前主要集中在云侧，依赖GPU提供算力，所带来的影响和冲击波巨大。想象一下，如果大模型能够在边缘侧和终端侧进行部署，那将推动智能应用的大力普及和发展，为用户和企业带来更多的便利和价值。想象一下，每个人在打开手机或终端时，就能轻松获取医生、律师、厨师等专业知识，这将是可能的。

长远来看，实现在边缘侧和终端侧部署大模型也将是未来的发展方向。然而，要在端侧和边缘侧高效地部署Transformer，我们需要思考使用何种技术和资源。是否继续依赖GPU？或者采用其他更适合边缘侧和终端侧的解决方案。

Transformer架构：大模型的最佳选择

所有这些大模型本质上都是经过预训练的模型，而且大都是基于Transformer架构。Transformer和CNN都是深度学习中常用的神经网络架构。与CNN不同，Transformer模型引入了自注意力机制（self-attention mechanism），使得模型能够在处理序列数据时捕捉到更长距离的依赖关系，从而更好地建模语义信息。需要指明的是，尽管Transformer在计算机视觉领域取得了一些成功，但CNN仍然在许多领域中表现出色，尤其是在处理具有空间局部性和平移不变性的图像数据时。因此，目前CNN仍然是许多计算机视觉任务的首选模型。

Transformer架构最初被广泛应用于自然语言处理领域，尤其是在机器翻译任务中取得了重大突破。随着Transformer的成功，人们开始投入更多的资源将其应用于计算机视觉（CV）领域。研究者们发现，在一些计算机视觉任务中，如图像分类、目标检测和图像生成等，使用Transformer模型可以取得与或甚至超过传统的CNN模型相媲美的性能。此外，由于Transformer模型的并行计算能力和扩展性较好，它还被应用于处理高分辨率图像和视频等大规模数据的任务中。

要想在边缘侧和终端侧实现大模型应用，也势必将要部署Transformer。不同于云端，在边缘侧和端侧部署Transformer模型面临的最大挑战之一是功耗。功耗的问题需要从两方面来解决：一方面是从算法侧入手，需要在算法侧通过剪枝、量化和低比特等技术进一步优化和压缩大模型，以减少其计算和存储需求，从而降低功耗。另外一个在硬件层面，考虑到GPU的成本和功耗，行业需要寻找更高效的硬件加速器和低功耗的芯片设计，提供高效的计算能力。

AX650N成为端侧、边缘侧Transformer最佳落地平台

2023年3月，爱芯元智推出了第三代高算力、高能效比的SoC芯片——AX650N，依托其在高性能、高精度、易部署、低功耗等方面的优异表现，AX650N受到越来越多有大模型部署需求用户的青睐，并且成为业内首屈一指的Transformer端侧、边缘侧落地平台。

在模型压缩方面，前文中我们提到了一些在算法层面的压缩方法，如剪枝、稀疏等，爱芯元智联合创始人、副总裁刘建伟指出，低比特也是压缩模型的一个方法，而且是对硬件最友好（便宜）的方式。在这方面，AX650N支持低比特混合精度，如INT4。这样的好处在于，一般大模型的参数是比较大的，如果能采用INT4，可以极大地减少内存和带宽占用率，有效控制端侧边缘侧部署的成本。

爱芯元智正在开发基于AX650N的爱芯派Pro开发板。