pytorch使用研究
文章平均质量分 93
以pytorch为基础,研究学习python和C++之间的桥梁,学习大模型计算如何在硬件上运行
huangma.
在学校学习python 研究深度学习的数学系学生;工作时接触嵌入式,逐步开始研究pytorch深度学习框架到硬件运行过程的小白。
展开
-
openai triton jit 即时编译
JIT(Just-in-Time,即时编译) 和 AOT(Ahead-of-Time,预编译) 是最常见的两种编译模式。JIT 在运行时即时编译,在开发周期中使用,可以动态下发和执行代码,开发测试效率高,但运行速度和执行性能则会因为运行时即时编译受到影响。AOT 即提前编译,可以生成被直接执行的二进制代码,运行速度快、执行性能表现好,但每次执行前都需要提前编译,开发测试效率低。原创 2024-07-25 11:48:05 · 1095 阅读 · 0 评论 -
提取深度学习模型的计算图
然而,由于PyTorch的动态特性,计算过程中各种可能都会出现,包括但不限于:使用了条件判断、计算与变量的形状有关、调用了其它包(比如numpy、scipy)、调用了其它语言的扩展(比如Rust、C++)等等。fx_model.forward就是新的函数,fx_model.code是fx_model.forward对应的代码(的字符串表示),fx_model.graph就是捕获得到的计算图。f_traced.graph存储了计算图,f_traced.code存储了计算图转化而来的代码。原创 2024-04-11 15:04:52 · 887 阅读 · 0 评论