LLVM-MLIR 学习记录

各种IR

stableHlo和tosa

StableHLO 和 TOSA (Tensor Operator Set Architecture) 是两个不同的中间表示（IR），它们的确在一些方面有相似之处，但也有各自独特的设计目标和应用场景。

相似之处
目标相似：两者都旨在为机器学习（ML）模型的编译和优化提供一种标准化的中间表示。这些IR主要用于将高层次的ML框架（如TensorFlow、PyTorch）模型转换为低层次的硬件指令（如GPU、TPU等）。

模块化设计：两者都强调模块化设计，使得可以方便地添加新的操作符和优化。

不同之处
设计目标和生态系统：

StableHLO：主要由Google推动，作为MLIR中的一个dialect，目标是提供一个稳定的、长期支持的IR，特别适用于XLA生态系统中的优化和代码生成。StableHLO针对XLA的优化进行了特别的设计，旨在为JAX、TensorFlow等基于XLA的框架提供更高效的编译过程。
TOSA：由Linaro主导开发，旨在为不同的硬件和软件栈提供一个更通用的IR。TOSA特别关注在多种嵌入式和边缘设备上的神经网络推理优化，力求标准化操作符以简化跨平台部署和优化。
操作符集的差异：

StableHLO：继承了XLA的操作符集，专注于支持在Google内部广泛使用的操作。由于它的历史和背景，StableHLO更偏向于高性能的服务器和数据中心的深度学习模型。
TOSA：操作符集更广泛和通用，旨在支持各种硬件平台（包括嵌入式系统）。TOSA的设计目标是通过减少操作符的数量和简化操作定义，优化编译器实现的复杂性和跨平台的兼容性。
应用场景和硬件支持：

StableHLO 更加关注高性能计算和深度学习研究领域，特别是数据中心的使用场景。它深度集成于XLA编译器中。
TOSA 的目标则更倾向于提供一个标准化的MLIR操作符集，以便在各种硬件（包括边缘设备和嵌入式设备）上高效地运行。它是MLIR框架中的一个标准方言，适合在多种不同的硬件架构中实现神经网络推理。