动态图(Dynamic Graphs)和静态图(Static Graphs)通常用来描述深度学习框架中模型的构建方式。
静态图(Static Graphs)
静态图是指模型的计算图在运行前就被定义好并且编译优化的方式。也就是说,模型的结构在执行前已经确定,不会在运行时改变。
静态图的典型代表是TensorFlow(1.x版本)和Theano。在这些框架中,用户首先定义好计算图,然后通过会话(Session)来运行图中的运算。
静态图的优点在于它可以进行很多优化,例如内存/计算共享、静态内存计划等,这些优化有助于提高运行效率。
缺点是调试相对困难,因为图在运行前已经固定,用户不能动态地查看中间变量的值,且对于图的修改具有一定的复杂度。
动态图(Dynamic Graphs)
动态图则是指模型的计算图在运行时动态构建的方式。也就是说,每次模型运行时都会构建一次图,这使得每次迭代都可以改变图的结构。
动态图的代表框架有PyTorch和TensorFlow的Eager Execution模式。
动态图的优点是更加灵活,易于调试,因为可以像普通Python代码那样逐行执行,并且在运行过程中轻松修改图结构或者进行打印、日志记录等操作。
缺点是可能会牺牲一些运行效率,因为缺少对整个图的全局优化,且每次迭代都要重新构建图。
总结:
静态图更适合于部署在产品环境中的模型,因为它可以提前进行优化,提高执行效率。
动态图更适合于研究和开发阶段,因为它的灵活性可以加速试验过程,使得调试和修改更加简单快捷。