KPU

什么是KPU？
KPU是通用的神经网络处理器，它可以在低功耗的情况下实现卷积神经网络计算，时时获取被检测目标的大小、坐标和种类，对人脸或者物体进行检测和分类。

为什么需要KPU？
KPU，Neural Network Processor，或称为 Knowledge Processing Unit，是MAIX的AI处理部分的核心。

那么KPU是如何处理AI算法的呢？

首先，目前(2019Q1)所谓的AI算法, 主要是基于** 神经网络** 算法衍生的各种结构的神经网络模型，如VGG，ResNet，Inception, Xception, SeqeezeNet,MobileNet, etc.

那为什么不使用普通CPU/MCU进行神经网络算法的计算呢？

因为对多数应用场景来说，神经网络的运算量太大：

例如640x480像素的RGB图片分析，假设第一层网络每颜色通道有16个3x3卷积核，那么仅第一层就要进行640x480x3x16=15M次卷积运算，

而一次3x3矩阵的计算时间，就是9次乘加的时间，加载两个操作数到寄存器，各需要3周期，乘法一个周期，加法一个周期，比较是否到9一个周期，跳转一个周期，那么大致需要9x(3+3+1+1+1+1)=90周期

所以计算一层网络就用时15M*90=1.35G个周期！

我们去掉零头，1G个周期，那么100MHz主频运行的STM32就要10s计算一层，1GHz主频运行的Cortex-A7需要1s计算一层！

而通常情况下，一个实用的神经网络模型需要10层以上的计算！那对于没有优化的CPU就需要秒级甚至分钟级的时间去运算！

所以，一般来说，CPU/MCU来计算神经网络是非常耗时，不具有实用性的。

而神经网络运算的应用场景，又分为训练侧 与 推断侧。

对于训练模型所需要的高运算力，我们已经有了NVIDIA的各种高性能显卡来加速运算。

对于模型推断，通常是在消费电子/工业电子终端上，也即AIoT，对于体积，能耗会有要求，所以，我们必须引入专用的加速模块来加速模型推断运算，这时候，KPU就应运而生了！