深度学习网络搭建与编程范式

TensorFlow搭建网络时采用static graphs，即先用函数式的编程范式定义网络，再训练，定义网络结构时没有计算，计算全部在训练模块里。搭建网络时，函数作为变量传递给函数。

PyTorch搭建网络时采用dynamic graphs，不事先搭建网络直接计算，计算过程本身就是网络的结构，属于(命令式)面向过程/基于对象的编程范式。这是人们习惯的命令式的”define by run“编程范式。

知乎各种吹捧函数式编程，却又更喜欢PyTorch，因为在Tensorflow中需要把控制流封装成functor很麻烦。还有一个原因是static graphs不能用来实现RNN等网络，TensorFlow Fold中实现了Dynamic Batching算法以实现动态图的功能。

参考文献：
[1] M. Looks, et al. DEEP LEARNING WITH DYNAMIC COMPUTATION GRAPHS, ICLR 2017