本文探讨了AI编译优化中的TVM和Ansor。Ansor通过hierarchical search space、program sampling和performance fine-tuning解决搜索空间、效率和资源分配问题。它采用sketch generation和random annotation构建大的搜索空间，再用evolutionary search进行性能优化，从而在自动编译优化领域取得突破。
2.1 auto tvm
做法是使用 template-guided 进行搜索，对于每个 op 使用 templates 去定义搜索空间。
2.2 halide auto-scheduler
做法是基于 sequential construction 进行搜索，使用 beam search 算法搜索顺序生成。说一下 beam search 算法，beam search 是所谓的 束搜索，是对 greedy search（贪心搜索）的一个改进算，相对 greedy search 扩大了搜索空间，但远远不及穷举搜索指数级的搜索空间，是二者的一个折中方案。
halide auto-scheduler 的缺点是：
（1）因为它是顺序生成的，对于中间的算子优化来说是不连续不完整的，因此 cost model 没办法进行准确的预测，导致了错误的累积；
（2）和 auto tvm 一样，搜索空间也是受限的；
通过对以上两个调度搜索算法的讨论，得到三个痛点：（1）怎么样能够自动的获取一个很大的搜索空间；（2）如何让搜索更加的高效；（3）对于这么多的搜索任务我们怎么样去分配资源。对于这三个痛点，ansor 的解法是：对于（1）采用 hierarchical search space；对于（2）采用 sample complete programs an
最低0.47元/天 解锁文章
扫一扫
793
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
