【AI编译优化】谈谈 tvm ansor

2.1 auto tvm
做法是使用 template-guided 进行搜索，对于每个 op 使用 templates 去定义搜索空间。

2.2 halide auto-scheduler
做法是基于 sequential construction 进行搜索，使用 beam search 算法搜索顺序生成。说一下 beam search 算法，beam search 是所谓的 束搜索，是对 greedy search（贪心搜索）的一个改进算，相对 greedy search 扩大了搜索空间，但远远不及穷举搜索指数级的搜索空间，是二者的一个折中方案。

halide auto-scheduler 的缺点是：

（1）因为它是顺序生成的，对于中间的算子优化来说是不连续不完整的，因此 cost model 没办法进行准确的预测，导致了错误的累积；
（2）和 auto tvm 一样，搜索空间也是受限的；

通过对以上两个调度搜索算法的讨论，得到三个痛点：（1）怎么样能够自动的获取一个很大的搜索空间；（2）如何让搜索更加的高效；（3）对于这么多的搜索任务我们怎么样去分配资源。对于这三个痛点，ansor 的解法是：对于（1）采用 hierarchical search space；对于（2）采用 sample complete programs and fine-tune