文章目录
- 题目:NAAS: Neural Accelerator Architecture Search
- 时间:2021
- 会议:DAC
- 研究机构:MIT韩松
本篇论文的主要贡献: 提出了神经加速器架构搜索 (NAAS),全面搜索神经网络架构、加速器架构和编译器映射
在架构探索中,设计空间包括了PE单元数量、L1缓存大小、L2缓存大小、以及PE间互连方式,使设计空间几乎涵盖所有神经网络加速器。
在映射策略搜索中,编译器关注每个for循环维度的执行顺序和tiling大小。使用类似的基于重要性的编码方法,选择重要值最高的循环作为最外层循环,按照降序由外到内;对于tiling size,由于与网络参数高度相关,使用缩放比例而不是绝对值,以此适应不同的网络。
在神经网络的优化中,将框架与神经架构搜索相结合,实现神经加速器-编译器协同设计。优化器将EDP作为奖励进行更新,直到达到迭代限制次数,EDP反馈最佳搜索对象,重复直到最好的设计结果。