pyTorch、Tensorflow和Paddle fluid的重点概念模块对应梳理记录

大隐、禅

已于 2024-03-16 09:29:52 修改

阅读量471

点赞数 9

文章标签： pytorch tensorflow paddle

于 2024-03-15 11:51:22 首次发布

本文链接：https://blog.csdn.net/weixin_38392612/article/details/136729002

版权

本文概述了PaddlePaddle框架中的动态图模式，与PyTorch和TensorFlow在多维数组、神经网络层、模型构建、优化器等关键方面的对比，以及分布式训练和可视化工具的差异。

摘要由CSDN通过智能技术生成

3月16 日添加了fluid.dygraph.Layer

  fluid.dygraph.Layer 是 PaddlePaddle 框架中
  用于定义动态图模式下神经网络层的一个基类。
  在 PaddlePaddle 的动态图模式下，
  用户可以灵活地构建和训练神经网络。

概念\框架	pytorch	tensorflow(as tf)	paddle（fluid)
1、多维数组（张量、变量）	torch.Tensor	tf.Tensor	paddle.Tensor或fluid.Variable
2、神经网络层	torch.nn	tf.keras.layers	paddle.nn或fluid.Layer或fluid.dygraph.Layer(更通用的动态图执行)
3、模型构建	torch.nn.Module和nn.Sequential	tf.keras.Model和tf.keras.Sequential	paddle.nn.layer或类似的结构
4、有序容器	nn.Sequential	tf.keras.Sequential	fluid.Sequential
5、优化器	torch.optim	tf.optimizers	paddle.optimizer或fluid.optimizer
6、数据集	torch.utils.data.DataLoader 和 torchvision.transforms	tf.data.Dataset 和 tf.keras.preprocessing 模块	paddle.io.DataLoader或fluid.io.DataLoader
7、训练循环和控制流	手动编写训练循环，使用 torch.autograd 进行梯度计算	使用 tf.function 和 tf.GradientTape 进行自动微分和训练循环	提供了自动微分功能，paddle.grad()
8、保存和加载模型	torch.save()和torch.load()	tf.saved_model.save()和tf.saved_model.load()（或tf.keras.models.save_model()与tf.keras.models.load_model()）	paddle.save()和paddle.load()
9、分布式训练	torch.distributed	tf.distribute.Strategy	paddle.distributed
10、可视化和调试	可以使用TensorBoard或可通过torch.utils.tensorboard模块	内置TensorBoard支持	提供PaddleVisual工具
11、量化	torch.quantization	tf.lite和tfmot.quantization	paddle.inference.PaddlePredictor