I good vegetable a!

今天来阅读一篇OSDI 2021的论文，《PET: Optimizing Tensor Programs with Partially Equivalent Transformationsand Automated Corrections》。之前也读过OSDI 2020的 《Ansor : Generating High-Performance Tensor Programs for Deep Learning》这篇论文，如果说Ansor是在更微观的角度做代码生成，那么这篇PET就可以说是在更宏观的角度做

【GiantPandaCV】前几天洪滨介绍了他们PLTC的Buddy MLIR项目，感觉是一项比较有趣的项目。正值端午就看了一下这个项目并且大致理清了代码结构并且把相关的例子都跑了跑，这中间还发现了一些小BUG并提了一些小的修复的PR。所以这篇文章用来记录一下在我的视角下，Buddy-MLIR为什么是一个优秀的项目，它能为做编译器开发的同行或者小白用户带来什么样的帮助，Let’s Go!整个Buddy-MLIR项目给我的最大感觉就是，无论结果怎么样，我们都可以先 run 起来。虽然 MLIR 已经出现了几年

0x0. 背景去年在Summer Code的时候我刚好开始入门 TVM（虽然现在仍然也还是入门阶段，没做过什么有意义的工作），并且恰好来到OneFlow 工作就想着给 TVM 添加一个 OneFlow 前端。但可惜在 Summer Code 发起了这个项目后因为系统选人的 BUG 导致没有选到合适的候选人。后来我私下联系了申请这个项目的第二位候选人胡伽魁同学问他是否愿意来 OneFlow 实习并花1-2个月完成这件事，他同意了并在实习期间做了一个初版出来。感谢胡伽魁同学的贡献。在这个初版的基础上，我做了

0x0. 前言本文主要梳理一下在21年接触到优化gemm的知识，做一个学习总结。行文的顺序大概为：介绍本文依赖的硬件环境和本文要完成的任务。回顾gflops的计算方法然后计算本地环境的gflops。How to optimize gemm on cpu...

0x0. 前言本文是对 https://arxiv.org/abs/2108.13191 这篇论文进行解读，学习一下MLIR如何生成高效的GPU代码。本文的阅读顺序分别为：

0x0. 前言这篇文章对MLIR的Pattern重写机制进行梳理和汇总，会结合实际例子把MLIR的两篇文档转化成容易看懂的形式。这两篇文档分别是https://mlir.llvm.org/docs/PatternRewriter/ 和 https://mlir.llvm.org/docs/Rationale/RationaleGenericDAGRewriter/ 。做这件事的动机是因为在我的开发过程中已经大量使用了MLIR的这个Pattern Rewrite机制，也经常回看这两篇文档所以翻译+梳理+总结

0x0. 前言

0x0. 前言之前以MLIR的Toy Tutorials教程为切入点了解了MLIR，然后又对MLIR的ODS要点以及Interfaces等知识进行了详解。在继续学习MLIR的相关知识前，我想对MLIR做一个总结。而要了解MLIR的全貌，阅读MLIR论文是一个不错的方式。但论文对一些要点只是简单提出，所以我这篇文章将在用沐神阅读论文的方法阅读MLIR论文的基础上对MLIR的要点在Toy Tutotials中进行对应和指路，并尝试用一些图表来建立起MLIR编译器的整体架构。最后有一段小的个人思考。沐神的论文

0x0. 前言相信看到这篇文章的人都对深度学习框架是有所了解和熟悉的，也多多少少会使用Python写一些神经网络相关的代码。例如我们可以在PyTorch写出下面的代码：import torchx = torch.tensor([-1.0, 2.0], device="cuda")y = torch.relu(x)print(y)使用PyTorch运行之后我们会获得如下结果：tensor([0., 2.], device='cuda:0')对于x这个输入Tensor来说，它被喂给了relu

0x0. 前言

0x0. 前言

GiantPandaCV年度总结BBuf篇在2022年的第一天，先祝大家元旦快乐，希望2022年大家学业，工作，论文种种事情都一切顺利。从GiantPandaCV公众号注册发文到2022年1月1日，已过了2年的时间，今天早上睡醒佩杰给我说我们的粉丝数已经超过3w了，我下午打开公众号后台看到确实如此，截图如下：非常感谢大家对GiantPandaCV的关注和支持。接下来我将分享一下自己这一年我为公众号做了什么，以及2022有什么计划。首先，在今年做出了一个重要的决定，就是公众号放弃了维护交流群并不提供

0x0. 动机最近沐神在B站上分享了一些经典论文的阅读视频，我也跟着看了几个比如TransFormer，VIT等，很赞。所以我就想跟着沐神这种方法来实践一下，找一篇论文来阅读一下。目前我比较关注的是工程方向的论文，正好上周PyTorch 放出了它们FX的论文，所以就以这篇论文为例来试试沐神的论文阅读方法。沐神的论文阅读方法大概是这样（数字代表先后顺序）：标题摘要引言结论相关工作FX特性实验评论PyTorch FX论文的链接在：https://arxiv.org/pdf/2112.08

前言接【从零开始学深度学习编译器】十六，MLIR ODS要点总结上篇 补充完整ODS的要点。11. 约束约束(Constraint)是表驱动Operation定义中的一个核心概念：Operation验证和图Operation匹配都是基于满足约束。因此，Operation定义和重写规则都直接涉及写入约束。MLIR在OpBase.td(https://github.com/llvm/llvm-project/blob/main/mlir/include/mlir/IR/OpBase.td)中定义了Cons

前言在【从零开始学深度学习编译器】十二，MLIR Toy Tutorials学习笔记一 中提到MLIR是通过Dialect来统一各种不同级别的IR，即负责定义各种Operation（算子）。然后对Dialect和Operation的定义又是通过TabelGen规范构造的，通过TableGen驱动MLIR的Operation定义也被称作ODS（ Operation Definition Specification) 。我们目前只是简单认识了Toy Tutorials的Dialect和Operation是如何

0x0. 前言在上一节中，我们将Toy Dialect的部分Operation Lowering到Affine Dialect，MemRef Dialect和Standard Dialect，而toy.print操作保持不变，所以又被叫作部分Lowering。通过这个Lowering可以将Toy Dialect的Operation更底层的实现逻辑表达出来，以寻求更多的优化机会，得到更好的MLIR表达式。这一节，我们将在上一节得到的混合型MLIR表达式完全Lowering到LLVM Dialect上，然后生

0x0. 前言这篇笔记是阅读Toy Tutorials的第五章之后总结的，这一节主要讲了一个Affine Dialect以及将之前获得的MLIR表达式（【从零开始学深度学习编译器】十三，如何在MLIR里面写Pass？ 这篇笔记末尾获得的MLIR表达式）进一步转换为Affine Dialect，并根据Affine Dialect中的冗余针对性的进行优化，这个转化被称作Lowering。0x1. Dialect转换MLIR有众多的Dialect，所以MLIR提供了一个统一的DialectConversio

前言在【从零开始学深度学习编译器】十一，初识MLIR 和 【从零开始学深度学习编译器】十二，MLIR Toy Tutorials学习笔记一 这两篇文章中，我们已经初步了解了MLIR为何物，并且讲到了Toy语法从源文件生成MLIR的具体过程，以及在这个过程中MLIR中的MLIRGen，Dialect，Operation以及TableGen这几个MLIR的核心组成部分以及它们是如何相互作用的。这篇笔记将基于Toy Tutorials总结MLIR中的表达式变形是如何实现的。Chapter3: MLIR中的表

0x0. 前言上篇文章简单介绍了MLIR是什么，这篇文章将结合MLIR的 Toy Tutorials来进一步了解MLIR的全貌。0x1. Chapter1: Toy语言和ASTMLIR提供了一种Toy语言来说明MLIR的定义和执行的流程。Toy语言是一种基于张量的语言，我们可以使用它来定义函数，执行一些数学计算以及输出结果。下面要介绍的例子中限制Tensor的维度是<=2的，并且Toy语言中唯一的数据类型是64位浮点类型，对应C语言中的"double"。另外Values是不可以重写的，即每个操作

0x0. 前言最近开始做一些MLIR的工作，所以也来分享一些MLIR的知识。这篇文章是对MLIR的初步印象，并不深入，适合想了解MLIR基础的同学阅读，后面再分享MLIR的一些项目。本文主要基于MLIR官方文档的Toy Tutorial完成，并且要大力感谢中科院的法斯特豪斯（知乎ID）同学先前的一些分享，给了我入门MLIR的方向。0x1. 什么是IR？IR即中间表示（Intermediate Representation），可以看作是一种中介的数据格式，便于模型在框架间转换。我理解可以表示深度学习计算