深度学习入门- 计算图（Computation Graph）

目录

一.计算图基本概念

二.计算图的类型

1.静态计算图（Static Computation Graph）

2.动态计算图（Dynamic Computation Graph）

三. 计算图的构建和训练

1.构建计算图

2. 训练模型

四.计算图的特性

五.碎碎念

一.计算图基本概念

       计算图：是指将计算过程用图形表示出来，图形是指数据结构图，通过节点和边表示（连接节点的直线称为"边"）。计算图是一种有向无环图（DAG），确保了计算的顺序性和结果的确定性。

      节点：在神经网络中，输入层，隐藏层和输出层各个操作都可以表示为节点。

       边：边用来连接节点，表示数据流或依赖关系，在深度学习中，边通常表示张量（多维数组）的传递。

       正向传播：从左向右传递正方向上的传播，即从计算图的出发点到结束点传播。

       反向传播：从右向左传播，反向传播在导数计算中很重要，用于梯度计算。根据损失函数计算输出结果与真实标签之间的误差，然后利用链式法则，逐个计算每个计算节点对应的输入的梯度，最终得到参数的梯度信息。

二.计算图的类型

1.静态计算图（Static Computation Graph）

      在执行前完全定义好的计算图。所有的操作（ops）和数据流（包括模型的权重、输入数据等）在程序开始运行之前就已经确定。优点是：优化和执行效率高，