写这篇文章的起因是老板想了解下AI芯片(NPU/GPU区别等),他不是搞技术那一挂的,所以就简单整理下,留作记录,顺便分享给各位。
文章目录
一、AI芯片是什么?
AI芯片:针对人工智能算法做了特殊加速设计的芯片,也被称为AI加速器,即专门用于处理人工智能应用中的大量计算任务的功能模块。
AI任务中99%以上的运算都是矩阵运算。现在的AI模型中包含大量的矩阵运算,AI专用芯片都是对矩阵乘法做了优化,通过引入各种处理单元来高效进行矩阵运算。
本文章秉承对新手友好的原则,简单直白,如果有用请您点个关注鼓励一下,后续继续分享。
二、AI芯片分类
从业务应用来看,可以分为**Training(训练)和Inference(推理)**两个类型。
训练芯片需要考虑的因素更多,设计上也更加复杂,精度通常为FP32、FP16。
推理芯片考虑的因素较少,推理芯片考虑的因素较少,对精度要求也不高,INT8即可。
1.Training(训练)
Training环节通常需要训练出一个复杂的深度神经网络模型。训练过程涉及海量的训练数据和复杂的深度神经网络结构,运算量巨大,需要庞大的计算规模,对于处理器的计算能力、精度、可扩展性等性能要求很高。常用的例如华为的Atlas900集群、