神经网络编译器-常量折叠

最新推荐文章于 2024-08-14 15:14:01 发布
最新推荐文章于 2024-08-14 15:14:01 发布
阅读量974 收藏
点赞数
分类专栏： 神经网络编译器
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/free1993/article/details/111480268
版权

常量折叠

所谓的常量折叠,指在传统编译器做语法分析的过程中,如果一个表达式的所有的operands都是常量,那么在编译结束的时候,相当于直接用计算结果来代表计算表达式.

例子

在这里插入图片描述

如上图所示,在这个函数里面,实现了三个常量的乘法,那么在编译的过程中,直接用计算的结果来代替本来要用两个乘法指令表达的计算式.也就是用(101112)代替(abc).常量折叠的技术通常和常量传播(也就是分析占位符到底是个什么类型,如果是常量的话,把他的数值给替代了).

神经网络编译器的常量折叠

我们以简单的add-conv为例.左边是没有进行常量折叠的计算图,右边是进行常量折叠的结果.对于两个形状大小为(N,C,H,W)而言的四维常量Tensor来说,其Add的结果是一定的.所以我们可以把它合成一个常量放在编译器生成的最终的计算图里面.
在这里插入图片描述

这样做,首先我们不需要给Add这个节点分配额外的存储资源.在计算图执行的过程中,也不需要反复计算add这个操作,直接进行访问结果就好了.

free1993
关注
专栏目录
编译器编译优化---常量传播和常量折叠
ainideriziyq1983的专栏
08-08 3323
(1)  常量传播     故名思议，在编译优化时，将能够计算出结果的变量直接替换为常量。    如：  void main()          { int a = 1; printf("%d",a);          }        编译器在进行编译的时候，将a直接由1代替。      优化后如下：     void main() { printf("%d",1);
神经网络编译器图层面IR
free1993的博客
05-10 2559
图形IR 图形IR，也被称为高级IR，代表计算流和控制流，并且与硬件无关。 高级IR的设计挑战是对计算流和控制流的进行抽象的能力，要能够表达出各种深度学习模型。 高级IR的目标是建立控制流以及算子与数据之间的依赖关系，并为图层面的优化提供接口。 它还包含丰富的语义信息以进行编译，并为自定义算子提供了可扩展性。 分类 DAG-based IR（a directed acyclic graph） 有向无环图。其节点和边组织为有向无环图（DAG）。 计算图IR是一种以有向无环图（Directed Acyclic
一步一步解读神经网络编译器TVM(二)
The space of Shining
08-01 2175
来源：https://oldpan.me/archives/the-first-step-towards-tvm-2 深表感谢 前言 在上一篇文章中<一步一步解读神经网络编译器TVM(一)——一个简单的例子>，我们简单介绍了什么是TVM以及如何利用Relay IR去编译网络权重然后并运行起来。 上述文章中的例子很简单，但是实际中我们更需要的是利用TVM去部署我们的应用么，最简单直接的...
C++编译器的常量折叠
lrgy_zhch的专栏
03-13 2650
1.常量折叠是一种编译器优化方法。2.c++里的常量折叠（或者常量替换)是将const常量放在符号表中，而并不给其分配内存。3.对一个常量名或者变量名的引用分为裸引用或复合引用。裸引用：const int n=10;int m=n;//此即常量名的裸引用复合引用：const int n=10;int*  p=(int*)&n;//此即常量名的复合引用如果裸引用常量名，那么编译器为了减少内存分配，采取直接替换的方式来优化。const int n=10;int m=n;//此即常量名的裸引用编译后const i
计算图优化有哪些=＞举例说明
最新发布
kingking44的博客
08-14 523
计算图优化在提升深度学习模型执行效率上发挥着至关重要的作用。TVM通过多种优化策略，如常量折叠、算子融合、子图分割和内存优化，实现了高效的模型推理能力。相比于框架级和手写代码优化，TVM提供了更高的灵活性和自动化能力，特别适合异构计算环境和不同硬件后端的需求。
常量折叠
masic007のlogs
09-24 1206
首先来看一个例子： int main(int argc, char* argv[]) { const int i=0; int *j = (int *) &i; *j=1; cout cout cout return 0; } 结果是 0012ff7c
[C++ 学习] 常量折叠
杂七杂八
04-06 613
转载自 http://www.cnblogs.com/chenyuming507950417/   所谓 "常量折叠",就是 const 类型的变量,在使用这个变量的时候,无视这快内存内容是什么, 而是直接使用这个变量最开始的初始值.   下面是转载的内容 :     今天意外见识了这个名词是在CSDN帖子里http://topic.csdn.net/u/20120406/03/
神经网络稀疏性调研
free1993的博客
02-23 9049
背景 人工智能在诸多领域都取得了突破性进展，例如计算机视觉，nlp等。但是，各种机器学习模型存在一个很致命的问题：神经网络巨大的计算量+访存量，这对性能提出了较高的要求（能耗、延时、访存等）。一种可行的解决方案：充分利用机器学习模型中的稀疏性。所谓的稀疏性是指在计算中不必要，没用的计算。通过减少计算量，就可以保证降低不必要的存储和计算，提升机器学习模型部署时的性能。 稀疏性的分布 根据稀疏性的来源，我们可以基本分为以下几类。 科学计算和传统的机器学习 神经网络 nlp 科学计算和传统的机器学习 科学计算
AI与传统编译器
吴建明wujianming_110117
09-22 956
AI与传统编译器 至于TVM，现在有很多框架（TF，Pytorch），然后会部署到不同平台（CPU、GPU、TPU），神经网络编译器呢就是把不同框架里写的东西编译成一样的格式再生成到某一平台的代码 再来看传统编译器（更偏向于LLVM），现在有许多语言（C、ObjC、C++），也有许多平台（x86、arm），编译器做的就是把不同语言编译到同样的中间代码再生成某一平台的代码 从上面两个工作流程应该看得出来，这两个就是把前端的表示进行统一再生成硬件相关的程序，只不过一个前端表示的是神经网络，一个是大家都熟悉的代码
自己动手写编译器.zip
03-20
- 优化技术：死代码消除、常量折叠、循环展开等。 - 优化的目的：提高代码执行效率，减少资源消耗。 7. 第9章：目标代码生成 - 目标机器的指令集架构（ISA）。 - 汇编语言的理解和使用。 - 生成与目标平台兼容...
cpp-ONNC开放式神经网络编译器
08-16
ONNC项目旨在提供一个编译器，将开放式神经网络交换格式（ONNX）连接到每个深度学习加速器（DLA）。 ONNX代表深度学习模型，使模型能够在诸如TensorFlow之类的框架之间正确传输。
神经网络的加速
free1993的博客
05-08 2017
背景 目前神经网络应用在大多数的场景，包括计算机视觉（包括目标识别、检测），推荐系统，大型的科学计算等。神经网络的计算本质上是张量计算（tensor），因此为了加速神经网络的计算，我们就需要进行张量的加速计算。为了加速张量计算，我们需要软硬件协调。 张量计算有两个特征 计算密集（compute-intensive） 访存受限（memory-bound） 目前现存的一些技术 算法层面 稀疏性 所谓的稀疏，就是利用神经网络计算过程中的零值元素。提出的要求就是只取出非零数值送到PE中，然后进行运算。包括的方面
C++常量折叠
热门推荐
03-16 1万+
今天回顾了大学这几年学习C++的点点滴滴，在回顾了“常量折叠”这里时，突然困惑了，当时学习这点知识时的理解是：可折叠的常量像宏一样，在预编译阶段对常量的引用一律被替换为常量所对应的值，就和普通的宏替换没什么区别，并且，编译器不会为该常量分配空间。现在回顾起来，当时是多么的天真，被现象迷惑了，常量折叠确实会像宏一样把对常量的引用替换为常量对应的值，但是，并非不给该常量分配空间，如下代码： #d
Python优化机制：常量折叠
Python猫
02-12 1906
英文：https://arpitbhayani.me/blogs/constant-folding-python 作者：arprit 译者：豌豆花下猫（“Python猫”公众号作者） 声明：本翻译是出于交流学习的目的，基于 CC BY-NC-SA 4.0 授权协议。为便于阅读，内容略有改动。 每种编程语言为了表现出色，并且实现卓越的性能，都需要大量编译器级的优化。 一种著名的优化技术是“常量折叠”（Constant Folding）：在编译期间，编译器会设法识别出常量表达式，对其进行求值，然后用求值的结果来
java常量折叠
IT_Octopus的博客
04-09 500
今天在看书的时候，看到常量折叠这一术语就很奇怪，查查了上帖子，发现各种语言的大神真的多，有的讲解到底层，作为一个菜鸟，只能拼凑一下简单的思想解答，来应对临时的需求。 常量折叠的概念 常量折叠是一种编译器优化技术。 常量折叠主要指的是编译期常量加减乘除的运算过程会被折叠 常量折叠是Java在编译期做的一个优化，简单的来说，在编译期就把一些表达式计算好，不需要在运行时进行计算。 比如: int a =...
常量折叠的理解
enockipp的小'码'头
12-02 993
下面代码的输出为 #include int main(int argc,char** argv){ const int a=1; int* b=const_cast(&a); *b=2; std::cout<<&a<<std::endl; std::cout<<a<<std::endl; std::cout<<b<<std::endl; std::cout<<*b<<std:
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值