高效节能的神经网络调度策略

背景简介

在深度神经网络（DNN）模型部署到边缘设备或资源受限的硬件平台时，高效的资源管理至关重要。内存使用和带宽消耗是主要的挑战之一。为了应对这一挑战，研究人员提出了层融合（Layer Fusion）技术，这是一种有效的优化策略，可以减少内存访问次数，提高内存利用率，从而达到高效节能的目的。

层融合技术

层融合是将多个相邻层合并为一个复合层的过程。在这种复合层中，中间特征图不会被存储到片外内存，而是直接在片上内存中传递给后续层。这样的处理方式减少了内存访问次数，显著降低了带宽消耗。例如，在图7.4中展示了层融合的一个例子，其中DNN模型被划分为多个融合层组，融合层组内的中间特征图不会被存储到片外内存。

融合层组的成本估计

为了评估层融合带来的内存成本变化，提出了一个内存成本模型，该模型考虑了层融合对内存访问次数的影响。通过对层融合后各层间特征图尺寸变化的分析，可以确定融合组中层所需的最小特征图瓦片大小。此外，该模型还考虑了在计算融合层组时参数的动态加载与重用，这样可以进一步降低片外内存访问次数，从而减少总内存访问开销。

硬件感知网络融合算法（HaNF）

为了在庞大的层融合方案中找到最优的融合方案，提出了硬件感知网络融合算法（HaNF）。该算法基于计算图，通过递归搜索的方式评估每个潜在的融合方案。HaNF算法从输入节点开始，逐步扩展临时层组，并根据是否能形成循环数据依赖来判断层组是否有效。通过这种自底向上的方式，HaNF能够高效地找到最优的融合策略，并减少片外内存访问次数。

总结与启发

通过层融合技术，可以显著优化DNN模型在硬件上的执行效率和能效。成本模型和HaNF算法的结合，为网络融合提供了理论依据和实践指导。对于研究者和工程师而言，这些方法能够帮助他们在有限的硬件资源下，实现高效的神经网络部署。同时，这种技术的应用也为边缘计算和物联网设备的智能应用提供了新的可能性。

在实际应用中，我们还需要考虑不同硬件平台的特性，例如处理器的PE数组大小和数据流，以及tile尺寸对片上资源利用的影响。这些因素都可能影响到层融合效果和内存成本模型的精确性。因此，未来的研究需要进一步探索层融合技术在不同硬件平台上的适应性和扩展性。