Paper地址: https://arxiv.org/abs/2005.14187 Github: GitHub - mit-han-lab/hardware-aware-transformers: [ACL 2020] HAT: Hardware-Aware Transformers for Efficient Natural Language Processing Introduction 对Transformer进行网络结构搜索时,会面临两个关键问题,且主要跟实际硬件平台特性有关: FLOPS不能完全代表Transformer模型的计算速度/实际执行效率: