pytorch中动态图机制

计算图

计算图是描述运算的有向无环图，有两个主要的元素：节点（Node）和边（Edge），节点表示数据，如向量，矩阵，张量。边表示运算，如加减乘除等

在tensor中包含一个is_leaf(叶子节点)属性，叶子节点就是用户创建的节点，其他所有节点都依赖于叶子节点。叶子节点的概念主要是为了节省内存，在计算图中的一轮反向传播结束之后，非叶子节点的梯度是会被释放的。

动态图

静态图是先搭建，后运算
动态图是运算和搭建同时进行，也就是可以先计算前面节点的值，再根据这些值搭建后面的计算图。优点是灵活，易调节，易调试。