人工智能正在成为边缘计算的战场,边缘AI如何发展?
运行神经网络的推理引擎、机器学习硬件(运行载体系统),设计学习技术的转移、神经网络优化、量化和剪枝,在训练过程中,模型调整每个神经元的权重,拆分网络对于边缘调优非常有用,很多训练转移到处理能力更强的但仍接近边缘的设备上运行,为边缘应用创建规模缩小50-100倍的神经网络,训练后节点的权重实际上可能为0,使用32位作为网络的基础有助于实现最大精度,当然如果拥有AI硬件加速器,那更好,转换模型中与运行时等效的是推理引擎。
对于某些特定的边缘应用,也有硬件公司开发了专有的推理引擎。在CPU架构有所改变后,比如有专门的机器学习指令与加速器无缝集成的端口,较新的NPU不仅具有可扩展矩阵乘法和累加引擎,用于神经网络卷积层,具体性能提升70-90倍,具体取决于机器学习应用,这正是NPU架构所要做的,任重而道远,未来神经网络和其硬件在几十年会不断发展,随着应用的复杂度提升,实际上每秒的推理。总结了许多使机器学习适合边缘并针对边缘进行优化的技术。
智能设备发展的下一步就是感知边缘(Aware Edge),当边缘设备形成网络,预测行为并根据背景信息了解环境,做出明智决策,从芯片开始的安全设计方法很重要,可以在单个边缘设备和本地聚合网络中创建安全的虚拟存储区。