Caffe、TensorFlow、PyTorch三者比较（笔记）

一、Caffe

1、caffe

1、优点：简洁易用、快速

2、缺点：缺少灵活性，扩展难，依赖众多环境且难以配置，应用局限。

3、在Caffe中最主要的抽象对象是层，每实现一个新的层，必须要利用C++实现它的前向传播和反向传播代码。

4、如果想要新的层运行在GPU上，还需要同时利用CUDA实现这一层的前向传播和反向传播。

2、Caffe2

1、Caffe2是一个兼具表现力、速度和模块性的开源深度学习框架。

2、Caffe2的设计追求轻量级，在保护扩展性和高性能的同时，Caffe2也强调了便携性。

3、Caffe2从一开始就以性能、扩展、移动端部署作为主要设计目标。

4、Caffe2的核心C++库能提供高速和便携性，而其Python和C++API使用户可以轻松地在Linux、Windows、iOS、Android，甚至Raspberry Pi和NVIDIA Tegra上进行原型设计、训练和部署。

5、Caffe2继承了Caffe的优点

二、TensorFlow

1、TensorFlow

1、很大程度上，TensorFlow可以看作是Theano和后继者，它们不仅有一大批共同的开发者，设计理念也相似，都是基于计算图实现自动微分系统。

2、TensorFlow使用数据流图进行数值计算，节点代表数学运算，而边代表在这些节点之间传递的多维数组（张量）。

3、TensorFlow编程接口支持python和C++。

4、TensorFlow还可以在Google Cloud和AWS中运行。（TensorFlow还支持Windows7、Windows10和Windows Server 2016）

5、由于TensorFlow使用C++ Eigen库，所以库可在ARM架构上编译优化。（意味着用户可以在各种服务器和移动设备上部署自己的训练模型，无须执行单独的模型解码器或者加载Python解释器）

2、批判

1、过于复杂的系统设计。代码仓库超过100万行，对于项目维护者来说，是一个难以完成的任务；对于读者来说，学习TensorFlow底层运行机制更是一个痛苦的过程。

2、频繁变动的接口。TensorFlow的接口一直处于快速迭代之中，并且没有很好地考虑向后兼容性，导致许多开源代码已经无法在新版本的TensorFlow上运行，也间接导致许多基于TensorFlow的第三方框架出现bug。

3、难以理解的概念。接口设计难懂，所以在设计TensorFlow时，创造了图、会话、命名空间、PlaceHolder等诸多抽象概念。同一功能，TensorFlow提供了多种实现，每种还有细微区别。

4、文档和教程缺乏明显的条理和层次。TensorFlow只考虑到了文档的全面性，而没有为用户提供一个循序渐进的入门教程。

至今TensorFlow仍然没有一个统一易用的接口。

​​​​​​​

三、PyTorch

1、PyTorch是当前难得的简洁、优雅且高效、快速的框架。

2、PyTorch的设计追求最少的封装，尽量避免“重复造轮子”。

3、PyTorch的设计遵循tensor—variable(autograd)—nn.Module这3个由低到高的抽象层次，分别代表高维数组（张量）、自动求导（变量）和神经网络（层/模块），而且这三个抽象之间联系紧密，可以同时进行修改等操作。

4、PyTorch的灵活性不以降低速度为代价。

5、PyTorch的面对对象的接口设计来源于Torch，而Torch的接口设计灵活，易用。

6、PyTorch提供了完整的文档。循序渐进的指南。

四、对比

1、、相同点：

（1）开源性：三者均为开源项目，拥有活跃的社区和不断更新的版本。

（2）深度学习应用：它们都广泛应用于深度学习领域，包括图像识别、语音识别、自然语言处理等多个方面。

（3）支持模块化：这些框架支持用户自定义层和操作，允许研究者和开发者实现新的算法和模型。

2、不同点:

1、灵活性：

①PyTorch以其动态计算图的设计而闻名，这使得它更加灵活，易于调试，并且受到研究人员的青睐。

②TensorFlow则采用静态计算图，这有助于优化性能，但在调试上可能不如PyTorch直观。

③Caffe的灵活性相对较低，因为它的层是网络的构建模块，需要定义完整的前向、后向和梯度更新过程。

2、易用性：

①PyTorch通常被认为更容易上手，其动态计算图的方式设计更贴近自然语言，使得新手和研究人员能更快地迭代和实验。

②TensorFlow提供了高级API如Keras，使得模型开发更加简单，但可能需要一定的学习曲线来掌握其复杂的体系结构。

③Caffe的学习曲线相对陡峭，安装和维护也较为复杂。

3、性能：

①TensorFlow通过静态计算图和图优化技术提供了高效的性能。

②PyTorch虽然在某些情况下可能效率较低，但其动态计算图使得模型的构建更加灵活。

③Caffe在性能上表现出色，尤其是在GPU加速和模型部署方面。

4、社区和支持：

①TensorFlow由于其广泛的应用和Google的支持，拥有庞大的社区和丰富的文档资源。

②PyTorch也有着活跃的社区，尤其是在研究领域。

③Caffe的社区相对较小，且发展速度不及前两者。

5、TensorFlow主要提供静态图构建的功能，因此具有较高的运算性能

6、PyTorch主要提供动态图计算的功能，API设计接近Python原生语法，因此易用性好。单优化方面不如TensorFlow。

7、TensorFlow大量用于人工智能企业的模型部署，PyTorch大量使用于学术界。

8、两种框架也在吸收对方的优势，如：TensoeFlow的eager模式就是对动态图的一种尝试。

9、PyTorch的源码只有TensorFlow的十分之一左右，更少的抽象、更直观的设计使PyTorch的源码易于阅读和理解。