ReaLM: Reliable and Efficient Large Language Model Inference with Statistical Algorithm-Based Fault

主要内容总结

本文提出了一种名为ReaLM的算法/电路协同设计框架，旨在通过利用大型语言模型（LLM）的固有容错性，实现高效且可靠的LLM推理。主要贡献包括：

1. 系统性容错分析：通过大规模错误注入实验，首次系统分析了LLM的容错特性，发现归一化操作后的网络组件对错误更为敏感，且错误频率与幅度之间存在权衡关系。
2. 统计ABFT算法：提出基于统计的ABFT（算法级容错）方法，结合定制化低功耗错误检测电路，自适应地仅在关键错误区域触发恢复，从而减少不必要的计算开销。
3. 能效优化：通过动态调整电压和利用LLM的容错性，在保持模型性能的同时，实现最高35.83%的能效提升。

创新点

1. 首次系统性分析LLM容错性：揭示了LLM不同组件（如归一化层前后）的容错性差异，并发现错误频率与幅度对性能的非线性影响。
2. 统计ABFT算法：结合错误统计（如错误频率和幅度）动态调整容错策略，减少冗余恢复操作