作者 | 守夜人 编辑 | 汽车人
原文链接:https://zhuanlan.zhihu.com/p/648566805
点击下方卡片,关注“自动驾驶之心”公众号
ADAS巨卷干货,即可获取
点击进入→自动驾驶之心【模型部署】技术交流群
本文只做学术分享,如有侵权,联系删文
给实验室同学们做了一次TVM分享,介绍了深度学习编译技术的背景、主要组件、主要过程等。资料来源TVM相关论文和slides,每一页给出来源,感兴趣的可以深挖下。
背景
![3682790430362c60dbc75877f8697d5c.png](https://i-blog.csdnimg.cn/blog_migrate/bebc97823dedff8cdeb4f7360b88bcd6.png)
![90f0e4af8a273600f03d8e3d71591352.png](https://i-blog.csdnimg.cn/blog_migrate/fefc4bdc9de2355189a3ff3ee97e707f.png)
![53fae145f6eb07fd3b0c7e37c536bc12.png](https://i-blog.csdnimg.cn/blog_migrate/08c149707d11332e09aebafd40aa8e62.png)
![7f1d0f149c51369c546caef6270d9c49.png](https://i-blog.csdnimg.cn/blog_migrate/80c334f819973422f45c10631b6f4df6.png)
![15fe91383944b99d76ba1436ce3eed48.png](https://i-blog.csdnimg.cn/blog_migrate/85c404fe6007624a5859972a51f4f0ac.png)
![5ccbb65f656abda85a35fb24d7d209e6.png](https://i-blog.csdnimg.cn/blog_migrate/5ab7a9c4637e3a4327aac593b6282673.png)
上图来源:M. Li et al., “The Deep Learning Compiler: A Comprehensive Survey,” IEEE Trans. Parallel Distrib. Syst., vol. 32, no. 3, pp. 708–727, Mar. 2021, doi: 10.1109/TPDS.2020.3030548.
![81b00480610c2a57ac99e79cb77feaee.png](https://i-blog.csdnimg.cn/blog_migrate/2d83c3bed12905217774e7c971c29569.png)
![337ce40bc520b05512c43a4855d164a5.png](https://i-blog.csdnimg.cn/blog_migrate/2c5682cc309e667a9fe95ef63a2ff8d1.png)
![14195dca8bd9c15769a11eb2c955d66e.png](https://i-blog.csdnimg.cn/blog_migrate/2a7e5f6ebaeef497c6ca9c5665c1521c.png)
![eac56e874a4d2b18fa78c2cc75e77abd.png](https://i-blog.csdnimg.cn/blog_migrate/2fb85af8a7cce0753d10fb3d83c970af.png)
TVM架构
![37e30d69bd6e25db4a93dd8757ede24b.png](https://i-blog.csdnimg.cn/blog_migrate/ecfe127aabb416bc71b95821e4aac91f.png)
![eb2e309313f2d66a3df6c31f03469c3c.png](https://i-blog.csdnimg.cn/blog_migrate/e790c453ef034a8fb128237976b87e34.png)
![0982d92e25e39d7302c1d9252b935823.png](https://i-blog.csdnimg.cn/blog_migrate/6131906f3bb6c7506944b1d035dc9f0e.png)
J. Roesch et al., “Relay: A High-Level Compiler for Deep Learning.” arXiv, Aug. 24, 2019. Accessed: Jun. 27, 2022. [Online]. Available: http://arxiv.org/abs/1904.08368
![b7b920d519f517a6a87f4802b2f53c3b.png](https://i-blog.csdnimg.cn/blog_migrate/8b237d2c8700e9c00f8be6e3b488b62f.png)
![02aa0e9aaf9ffd31cbab2047570e4104.png](https://i-blog.csdnimg.cn/blog_migrate/c18753272e41fed75ec68c5c0599793e.png)
![d4c30d1b2613b9208321f487ced432f8.png](https://i-blog.csdnimg.cn/blog_migrate/aceaa018a01b213a87b47cb99ecb042c.png)
![3c99fcb843f899c2b9f832a2eaadecfb.png](https://i-blog.csdnimg.cn/blog_migrate/9c68c63945212699b3e4af6294ea8fd5.png)
TVM扩展:支持新的硬件
![f0f53172330eeb81a7ba779a93d00e6c.png](https://i-blog.csdnimg.cn/blog_migrate/4e2be799e47da73cfbb311216d22bcd2.png)
Z. Chen et al., “Bring Your Own Codegen to Deep Learning Compiler.” arXiv, May 03, 2021. Accessed: Jun. 27, 2022. [Online]. Available: Bring Your Own Codegen to Deep Learning Compiler
![90db6ab1792fa1f143219d1be4404dfe.png](https://i-blog.csdnimg.cn/blog_migrate/881267b268fe81836804725966a2edc1.png)
![a78421aa775132b0b96d9907bec7e626.png](https://i-blog.csdnimg.cn/blog_migrate/87ca2582b933d15864bf6ef8ff18d55f.png)
![29849a295884dc79ab12406497075ed8.png](https://i-blog.csdnimg.cn/blog_migrate/2722b982c4020d34acdbca3d24cea6c7.png)
TVM对神经网络量化的支持
![caf4c3247a231481bfc153854ad66ad4.png](https://i-blog.csdnimg.cn/blog_migrate/82ec9eaff1ba2d6e456f08d867a4d225.png)
![5444b47ac2d62e3bbd64de9b4db977bb.png](https://i-blog.csdnimg.cn/blog_migrate/bf0a6092abe4433a65bb027ce60cf8fb.png)
![a06dcbf3b8a79fb83d756777f99313b1.png](https://i-blog.csdnimg.cn/blog_migrate/795a39f77513fc6c2d10602ab82098df.png)
JAIN A, BHATTACHARYA S, MASUDA M, et al. Efficient Execution of Quantized Deep Learning Models: A Compiler Approach[J]. arXiv, 2020.
TVM应用案例
![1533191997460d74e7b67062f6fc7867.png](https://i-blog.csdnimg.cn/blog_migrate/2b92abbddb999a7c84aff7ba52f97cdc.png)
![244d4bcf69b07f68253f675783d682ca.png](https://i-blog.csdnimg.cn/blog_migrate/d4208a2614e9d779a18787dcf2544c03.png)
相关资源:
https://mlc.ai/mlc-llm/
https://github.com/mlc-ai/mlc-llm
https://mlc.ai/mlc-llm/docs/index.html
![802b37be891dc68bcb53cf631f45e692.png](https://i-blog.csdnimg.cn/blog_migrate/e7c6ba587de1be30a8fa07471afb3f51.png)
相关资源:
希姆计算
![d945815ba95fe6b80a00bff16b77b287.png](https://i-blog.csdnimg.cn/blog_migrate/6beedffa15a02126928c91c765b8e933.png)
相关资源:
MindSpore/akg
https://gitee.com/mindspore/akg
![eac5841ab56d0f1fecea533fe0ee6250.png](https://i-blog.csdnimg.cn/blog_migrate/793630459157726b1f08bf9acabbe98d.png)
① 全网独家视频课程
BEV感知、毫米波雷达视觉融合、多传感器标定、多传感器融合、多模态3D目标检测、点云3D目标检测、目标跟踪、Occupancy、cuda与TensorRT模型部署、协同感知、语义分割、自动驾驶仿真、传感器部署、决策规划、轨迹预测等多个方向学习视频(扫码学习)
![0c50ad47cd1cd4294df0652fd574c6a3.png](https://i-blog.csdnimg.cn/blog_migrate/b21fe187a7e5a0b07726e5d317dadab8.png)
② 国内首个自动驾驶学习社区
近2000人的交流社区,涉及30+自动驾驶技术栈学习路线,想要了解更多自动驾驶感知(2D检测、分割、2D/3D车道线、BEV感知、3D目标检测、Occupancy、多传感器融合、多传感器标定、目标跟踪、光流估计)、自动驾驶定位建图(SLAM、高精地图、局部在线地图)、自动驾驶规划控制/轨迹预测等领域技术方案、AI模型部署落地实战、行业动态、岗位发布,欢迎扫描下方二维码,加入自动驾驶之心知识星球,这是一个真正有干货的地方,与领域大佬交流入门、学习、工作、跳槽上的各类难题,日常分享论文+代码+视频,期待交流!
![02d9a2a0080a286ccb9c5d3af01b984d.png](https://i-blog.csdnimg.cn/blog_migrate/5024c60400e879325922a39c8fd1fbf8.png)
③【自动驾驶之心】技术交流群
自动驾驶之心是首个自动驾驶开发者社区,聚焦目标检测、语义分割、全景分割、实例分割、关键点检测、车道线、目标跟踪、3D目标检测、BEV感知、多模态感知、Occupancy、多传感器融合、transformer、大模型、点云处理、端到端自动驾驶、SLAM、光流估计、深度估计、轨迹预测、高精地图、NeRF、规划控制、模型部署落地、自动驾驶仿真测试、产品经理、硬件配置、AI求职交流等方向。扫码添加汽车人助理微信邀请入群,备注:学校/公司+方向+昵称(快速入群方式)
④【自动驾驶之心】平台矩阵,欢迎联系我们!