动态尺寸模型优化实践之 Shape Constraint IR Part II

最新推荐文章于 2023-07-13 14:40:37 发布

阿里云技术

最新推荐文章于 2023-07-13 14:40:37 发布

阅读量176

点赞数

文章标签： java 算法人工智能阿里云云计算

本文链接：https://blog.csdn.net/weixin_43970890/article/details/126481391

版权

本文介绍BladeDISC如何在动态shape语义下进行性能优化，重点阐述shape constraint IR的设计与实现，以及初步测试结果。通过构建以shape constraint为中心的优化pipeline，实现了在动态shape下接近静态shape的优化性能。测试显示，优化减少了访存密集型部分的kernel launch次数和总消耗时间。

摘要由CSDN通过智能技术生成

在本系列分享中我们将介绍BladeDISC在动态shape语义下做性能优化的一些实践和思考。本次分享的是我们最近开展的有关shape constraint IR的工作，鉴于篇幅较长，为了提升阅读体验，我们将分享拆分为两个部分：

Part I 中我们将介绍问题的背景，面临的主要挑战和以及我们做shape constraint IR的动机；
Part II 中我们将介绍shape constraint IR的设计，实现以及一些初步的实验结果；

本篇是关于Part II的介绍，Part I的介绍请参考这里。

设计和实现

shape constraint IR的设计

使用IR来建模shape constraint并不是一个很容易的事情。我们需要设计一种方案既方便我们做shape constraint分析，同时又不会使得IR的后续变换变的很复杂。经过多次迭代之后，我们选择了type-based方案来构建shape constraint IR，基本思路如下段伪IR所示。

// original data-computation IR
func @main() {
  ...
  %0 = any_dialect.any_operation(...) : tensor<?x?xf32, [@S0, @S1]>
  ...
}

disc_shape.SymbolicDim @S0 {
  range list : [[...], [...], ...]
  likely_values : [...]
  ...
  symbolic_shape_graph: &