对轻量级模型部署的关键字理解

CNN：网络宽度为通道（channel的数量），网络深度为layer层的数量。在深度卷积神经网络计算时，网络宽度决定在网络某一层可以学习到的信息量，网络深度决定了模型学习可以到达什么细节，深度越大，数据抽象的层数越多，对数据了解越细致。

 

latency：延迟，指令提出与收到反应之间经过的时间（毫秒量级）

throughput：吞吐量。一个时间单元内网络能处理的最大输入量。

 

FLOPS：floating- point operations per second。每秒可以执行的浮点运算次数。代表芯片的算力。

MAC: Memory Access Cost 内存访问代价。模型完成一次前向传播所发生的内存交换总量，即模型的空间复杂度

CPU与GPU对比：

CPU（中央处理器）和GPU（图形处理器）是计算机中常见的两种处理器。 

CPU通常采用多核心架构，适用于串行任务和通用计算。GPU采用大量的小处理核心，适用于并行计算和图形处理。

 CPU通常用于处理通用计算任务，如操作系统、应用程序和数据处理。GPU主要用于图形处理、科学计算和深度学习等需要大量并行计算的任务。

 GPU在处理大规模并行计算任务时通常比CPU更快。但对于串行任务和通用计算，CPU通常更有效率。

 GPU通常比CPU消耗更多的电力，因为它们有更多的处理核心和更高的时钟频率。

 深度学习任务通常会使用GPU进行训练和推理，而其他通用计算任务则会使用CPU。