神经网络框架--动态计算VS静态计算

动态计算VS静态计算

动态计算意味着程序将按照我们编写命令的顺序进行执行。这种机制将使得调试更加容易，并且也使得我们将大脑中的想法转化为实际代码变得更加容易。而静态计算则意味着程序在编译执行时将先生成神经网络的结构，然后再执行相应操作。从理论上讲，静态计算这样的机制允许编译器进行更大程度的优化，但是这也意味着你所期望的程序与编译器实际执行之间存在着更多的代沟。这也意味着，代码中的错误将更加难以发现（比如，如果计算图的结构出现问题，你可能只有在代码执行到相应操作的时候才能发现它）。
谷歌的 TensorFlow 主要使用了静态计算图（注：TensorFlow 在两周前宣布了一个动态计算选项 Eager Execution（http://t.cn/RlZizQ2），而 Facebook 的 PyTorch 则使用了动态计算图机制。
Pytorch’s advantage compare to TF:
1.更加容易Debug,直观

2.动态计算更适用于自然语言处理

3.传统的面向对象编程风格（这对我们来说更加自然）

4.TensorFlow 中采用的诸如 scope 和 sessions 等不寻常的机制容易使人感到疑惑不解，而且需要花费更多时间学习

References:
https://github.com/L1aoXingyu/code-of-learn-deep-learning-with-pytorch/blob/master/chapter2_PyTorch-Basics/dynamic-graph.ipynb
https://www.cnblogs.com/yifdu25/p/8763717.html