在 Cloud TPU Pod 上训练 PyTorch 模型

最新推荐文章于 2024-11-12 20:13:20 发布
最新推荐文章于 2024-11-12 20:13:20 发布
阅读量799 收藏 13
点赞数 17
分类专栏： 开发板测评 文章标签： pytorch 人工智能 TPU
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_47569031/article/details/141957918
版权

准备工作

在 Cloud TPU Pod 上开始分布式训练之前，请验证您的模型可在单个 v2-8 或 v3-8 Cloud TPU 设备上正常训练。如果您的模型在单个设备上出现明显的性能问题，请参阅最佳做法和问题排查指南。

单个 TPU 设备成功训练后，请执行以下步骤，在 Cloud TPU Pod 上设置和训练：

  1. 配置 gcloud 命令。

  2. 【可选】 将虚拟机磁盘映像捕获到虚拟机映像中。

  3. 通过虚拟机映像创建实例模板。

  4. 通过实例模板创建实例组。

  5. 通过 SSH 连接到您的 Compute Engine 虚拟机

  6. 验证防火墙规则以允许虚拟机之间进行通信。

  7. 创建 Cloud TPU Pod。

  8. 在 Pod 上运行分布式训练。

  9. 清理。

配置 gcloud 命令

使用 gcloud 配置 Google Cloud 项目：

为项目 ID 创建一个变量。

export PROJECT_ID=project-id

将项目 ID 设置为 gcloud 中的默认项目

gcloud config set project ${PROJECT_ID}

当您第一次在新的 Cloud Shell 虚拟机中运行此命令时，系统会显示 Authorize Cloud Shell 页面。点击页面底部的 Authorize，以允许 gcloud 使用您的凭据进行 API 调用。

使用 gcloud 配置默认区域：

gcloud config set compute/zone europe-west4-a

[可选] 捕获虚拟机磁盘映像

您可以使用您用于训练单个 TPU 的虚拟机中的磁盘映像（已安装数据集、软件包等）。在创建映像之前，请使用 gcloud 命令停止虚拟机：

gcloud compute instances stop vm-name

接下来，使用 gcloud 命令创建虚拟机映像：

gcloud compute images create image-name  \
    --source-disk instance-name \
    --source-disk-zone europe-west4-a \
    --family=torch-xla \
    --storage-location europe-west4

通过虚拟机映像创建实例模板

创建默认实例模板。创建实例模板时，您可以使用您在上述步骤中创建的虚拟机映像，或者您可以使用 Google 提供的公开 PyTorch/XLA 映像。如需创建实例模板，请使用 gcloud 命令：

gcloud compute instance-templates create instance-template-name \
    --machine-type n1-standard-16 \
    --image-project=${PROJECT_ID} \
    --image=image-name \
    --scopes=https://www.googleapis.com/auth/cloud-platform

通过实例模板创建实例组

gcloud compute instance-groups managed create instance-group-name \
    --size 4 \
    --template template-name \
    --zone europe-west4-a

通过 SSH 连接到您的 Compute Engine 虚拟机

创建实例组后，请通过 SSH 连接到实例组中的某个实例（虚拟机）。使用 gcloud 命令列出实例组中的所有实例：

gcloud compute instance-groups list-instances instance-group-name

通过 SSH 连接到使用 list-instances 命令列出的某个实例。

gcloud compute ssh instance-name --zone=europe-west4-a

验证实例组中的虚拟机是否可以相互通信

使用 nmap 命令验证实例组中的虚拟机是否可以相互通信。从您连接的虚拟机运行 nmap 命令，将 instance-name 替换为实例组中另一个虚拟机的实例名称。

(vm)$ nmap -Pn -p 8477 instance-name

Starting Nmap 7.40 ( https://nmap.org ) at 2019-10-02 21:35 UTC
Nmap scan report for pytorch-20190923-n4tx.c.jysohntpu.internal (10.164.0.3)
Host is up (0.00034s latency).
PORT     STATE  SERVICE
8477/tcp closed unknown

只要 STATE 字段未显示 filtered，就表示防火墙规则设置正确。

创建 Cloud TPU Pod

gcloud compute tpus create tpu-name \
    --zone=europe-west4-a \
    --network=default \
    --accelerator-type=v2-32 \
    --version=pytorch-1.13

在 Pod 上运行分布式训练

  1. 从虚拟机会话窗口中，导出 Cloud TPU 名称并激活 conda 环境。
 (vm)$ export TPU_NAME=tpu-name
    
    (vm)$ conda activate torch-xla-1.13
  1. 运行训练脚本：
    (torch-xla-1.13)$ python -m torch_xla.distributed.xla_dist \
          --tpu=$TPU_NAME \
          --conda-env=torch-xla-1.13 \
          --env XLA_USE_BF16=1 \
          --env ANY_OTHER=ENV_VAR \
          -- python /usr/share/torch-xla-1.13/pytorch/xla/test/test_train_mp_imagenet.py \
          --fake_data

运行完上述命令后，您应该会看到如下所示的输出（注意，这使用的是 --fake_data）。在 v3-32 TPU Pod 上，训练需要大约 1/2 小时。

2020-08-06 02:38:29  [] Command to distribute: "python" "/usr/share/torch-xla-nightly/pytorch/xla/test/test_train_mp_imagenet.py" "--fake_data"
2020-08-06 02:38:29  [] Cluster configuration: {client_workers: [{10.164.0.43, n1-standard-96, europe-west4-a, my-instance-group-hm88}, {10.164.0.109, n1-standard-96, europe-west4-a, my-instance-group-n3q2}, {10.164.0.46, n1-standard-96, europe-west4-a, my-instance-group-s0xl}, {10.164.0.49, n1-standard-96, europe-west4-a, my-instance-group-zp14}], service_workers: [{10.131.144.61, 8470, v3-32, europe-west4-a, pytorch-nightly, my-tpu-slice}, {10.131.144.59, 8470, v3-32, europe-west4-a, pytorch-nightly, my-tpu-slice}, {10.131.144.58, 8470, v3-32, europe-west4-a, pytorch-nightly, my-tpu-slice}, {10.131.144.60, 8470, v3-32, europe-west4-a, pytorch-nightly, my-tpu-slice}]}
2020-08-06 02:38:31 10.164.0.43 [0]   % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
2020-08-06 02:38:31 10.164.0.43 [0]                                  Dload  Upload   Total   Spent    Left  Speed
100    19  100    19    0     0   2757      0 --:--:-- --:--:-- --:--:--  3166
2020-08-06 02:38:34 10.164.0.43 [0]   % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
2020-08-06 02:38:34 10.164.0.43 [0]                                  Dload  Upload   Total   Spent    Left  Speed
100    19  100    19    0     0   2623      0 --:--:-- --:--:-- --:--:--  2714
2020-08-06 02:38:37 10.164.0.46 [2]   % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
2020-08-06 02:38:37 10.164.0.46 [2]                                  Dload  Upload   Total   Spent    Left  Speed
100    19  100    19    0     0   2583      0 --:--:-- --:--:-- --:--:--  2714
2020-08-06 02:38:37 10.164.0.49 [3]   % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
2020-08-06 02:38:37 10.164.0.49 [3]                                  Dload  Upload   Total   Spent    Left  Speed
100    19  100    19    0     0   2530      0 --:--:-- --:--:-- --:--:--  2714
2020-08-06 02:38:37 10.164.0.109 [1]   % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
2020-08-06 02:38:37 10.164.0.109 [1]                                  Dload  Upload   Total   Spent    Left  Speed
100    19  100    19    0     0   2317      0 --:--:-- --:--:-- --:--:--  2375
2020-08-06 02:38:40 10.164.0.46 [2]   % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
2020-08-06 02:38:40 10.164.0.49 [3]   % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
2020-08-06 02:38:40 10.164.0.46 [2]                                  Dload  Upload   Total   Spent    Left  Speed
2020-08-06 02:38:40 10.164.0.49 [3]                                  Dload  Upload   Total   Spent    Left  Speed
100    19  100    19    0     0   2748      0 --:--:-- --:--:-- --:--:--  3166
100    19  100    19    0     0   2584      0 --:--:-- --:--:-- --:--:--  2714
2020-08-06 02:38:40 10.164.0.109 [1]   % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
2020-08-06 02:38:40 10.164.0.109 [1]                                  Dload  Upload   Total   Spent    Left  Speed
100    19  100    19    0     0   2495      0 --:--:-- --:--:-- --:--:--  2714
2020-08-06 02:38:43 10.164.0.49 [3]   % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
2020-08-06 02:38:43 10.164.0.49 [3]                                  Dload  Upload   Total   Spent    Left  Speed
100    19  100    19    0     0   2654      0 --:--:-- --:--:-- --:--:--  2714
2020-08-06 02:38:43 10.164.0.43 [0]   % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
2020-08-06 02:38:43 10.164.0.43 [0]                                  Dload  Upload   Total   Spent    Left  Speed
100    19  100    19    0     0   2784      0 --:--:-- --:--:-- --:--:--  3166
2020-08-06 02:38:43 10.164.0.46 [2]   % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
2020-08-06 02:38:43 10.164.0.46 [2]                                  Dload  Upload   Total   Spent    Left  Speed
100    19  100    19    0     0   2691      0 --:--:-- --:--:-- --:--:--  3166
2020-08-06 02:38:43 10.164.0.109 [1]   % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
2020-08-06 02:38:43 10.164.0.109 [1]                                  Dload  Upload   Total   Spent    Left  Speed
100    19  100    19    0     0   2589      0 --:--:-- --:--:-- --:--:--  2714
2020-08-06 02:38:57 10.164.0.109 [1] ==> Preparing data..
2020-08-06 02:38:57 10.164.0.109 [1] | Training Device=xla:0/14 Epoch=1 Step=0 Loss=6.87500 Rate=258.47 GlobalRate=258.47 Time=02:38:57
2020-08-06 02:38:57 10.164.0.109 [1] ==> Preparing data..
2020-08-06 02:38:57 10.164.0.109 [1] | Training Device=xla:0/15 Epoch=1 Step=0 Loss=6.87500 Rate=149.45 GlobalRate=149.45 Time=02:38:57
2020-08-06 02:38:57 10.164.0.43 [0] ==> Preparing data..
2020-08-06 02:38:57 10.164.0.43 [0] Epoch 1 train begin 02:38:52
2020-08-06 02:38:57 10.164.0.43 [0] | Training Device=xla:1/0 Epoch=1 Step=0 Loss=6.87500 Rate=25.72 GlobalRate=25.72 Time=02:38:57
2020-08-06 02:38:57 10.164.0.43 [0] ==> Preparing data..
2020-08-06 02:38:57 10.164.0.43 [0] | Training Device=xla:0/6 Epoch=1 Step=0 Loss=6.87500 Rate=89.01 GlobalRate=89.01 Time=02:38:57
2020-08-06 02:38:57 10.164.0.43 [0] ==> Preparing data..
2020-08-06 02:38:57 10.164.0.43 [0] | Training Device=xla:0/1 Epoch=1 Step=0 Loss=6.87500 Rate=64.15 GlobalRate=64.15 Time=02:38:57
2020-08-06 02:38:57 10.164.0.43 [0] ==> Preparing data..
2020-08-06 02:38:57 10.164.0.43 [0] | Training Device=xla:0/2 Epoch=1 Step=0 Loss=6.87500 Rate=93.19 GlobalRate=93.19 Time=02:38:57
2020-08-06 02:38:57 10.164.0.43 [0] ==> Preparing data..
2020-08-06 02:38:57 10.164.0.43 [0] | Training Device=xla:0/7 Epoch=1 Step=0 Loss=6.87500 Rate=58.78 GlobalRate=58.78 Time=02:38:57
2020-08-06 02:38:57 10.164.0.109 [1] ==> Preparing data..
2020-08-06 02:38:57 10.164.0.109 [1] Epoch 1 train begin 02:38:56
2020-08-06 02:38:57 10.164.0.109 [1] | Training Device=xla:1/8 Epoch=1 Step=0 Loss=6.87500 Rate=100.43 GlobalRate=100.43 Time=02:38:57
2020-08-06 02:38:57 10.164.0.109 [1] ==> Preparing data..
2020-08-06 02:38:57 10.164.0.109 [1] | Training Device=xla:0/13 Epoch=1 Step=0 Loss=6.87500 Rate=66.83 GlobalRate=66.83 Time=02:38:57
2020-08-06 02:38:57 10.164.0.109 [1] ==> Preparing data..
2020-08-06 02:38:57 10.164.0.109 [1] | Training Device=xla:0/11 Epoch=1 Step=0 Loss=6.87500 Rate=64.28 GlobalRate=64.28 Time=02:38:57
2020-08-06 02:38:57 10.164.0.109 [1] ==> Preparing data..
2020-08-06 02:38:57 10.164.0.109 [1] | Training Device=xla:0/10 Epoch=1 Step=0 Loss=6.87500 Rate=73.17 GlobalRate=73.17 Time=02:38:57
2020-08-06 02:38:57 10.164.0.109 [1] ==> Preparing data..
2020-08-06 02:38:57 10.164.0.109 [1] | Training Device=xla:0/9 Epoch=1 Step=0 Loss=6.87500 Rate=27.29 GlobalRate=27.29 Time=02:38:57
2020-08-06 02:38:57 10.164.0.109 [1] ==> Preparing data..
2020-08-06 02:38:57 10.164.0.109 [1] | Training Device=xla:0/12 Epoch=1 Step=0 Loss=6.87500 Rate=110.29 GlobalRate=110.29 Time=02:38:57
2020-08-06 02:38:57 10.164.0.46 [2] ==> Preparing data..
2020-08-06 02:38:57 10.164.0.46 [2] | Training Device=xla:0/20 Epoch=1 Step=0 Loss=6.87500 Rate=100.85 GlobalRate=100.85 Time=02:38:57
2020-08-06 02:38:57 10.164.0.46 [2] ==> Preparing data..
2020-08-06 02:38:57 10.164.0.46 [2] | Training Device=xla:0/22 Epoch=1 Step=0 Loss=6.87500 Rate=93.52 GlobalRate=93.52 Time=02:38:57
2020-08-06 02:38:57 10.164.0.46 [2] ==> Preparing data..
2020-08-06 02:38:57 10.164.0.46 [2] | Training Device=xla:0/23 Epoch=1 Step=0 Loss=6.87500 Rate=165.86 GlobalRate=165.86 Time=02:38:57

清理

为避免因本教程中使用的资源导致您的 Google Cloud 帐号产生费用，请删除包含这些资源的项目，或者保留项目但删除各个资源。

  1. 与 Compute Engine 虚拟机断开连接：
exit
  1. 删除实例组：
gcloud compute instance-groups managed delete instance-group-name
  1. 删除 TPU Pod：
gcloud compute tpus delete ${TPU_NAME} --zone=europe-west4-a
  1. 删除实例组模板：
gcloud compute instance-templates delete instance-template-name
  1. [可选] 删除您的虚拟机磁盘映像：
gcloud compute images delete image-name

后续步骤

试用 PyTorch Colab：

  • 在 Cloud TPU 上开始使用 PyTorch
  • 在 TPU 上训练 MNIST
  • 使用 Cifar10 数据集在 TPU 上训练 ResNet18
  • 使用预训练的 ResNet50 模型进行推理
  • 快速神经风格转移
  • 在 Fashion MNIST 上使用多核心训练 AlexNet
  • 在 Fashion MNIST 上使用单核心训练 AlexNet

文章来源：google cloud

推荐阅读

更多芯擎AI开发板干货请关注芯擎AI开发板专栏。欢迎添加极术小姐姐微信（id:aijishu20)加入技术交流群，请备注研究方向。

极术社区
关注
专栏目录
Pytorch模型训练实用教程
10-03
《PyTorch模型训练实用教程》是一份详细指导如何在PyTorch框架下进行深度学习模型训练的资源。PyTorch是Facebook开源的一个强大的深度学习平台，以其灵活性和易用性受到广大研究者和开发者的青睐。本教程由Tingsong ...
手把手教你使用谷歌cloud tpu(从创建虚拟机到进行pytorch训练)
Lisen’s blog
12-06 5844
当然，要想用谷歌的东西，首先必须有一个谷歌的账号。如何创建谷歌账号不是本文的重点。本文是基于你有谷歌账号，并申请了免费的谷歌TPU的情况下进行的。如果申请了免费的TPU或者打算付费使用，请继续阅读。 谷歌vm和tpu简单介绍 vm其实就是虚拟机，相当于一个电脑，需要使用谷歌的电脑才能连接他们家的tpu节点。 创建谷歌vm 第一种方法：google cloud platform创建： 地址：http...
2024-06-03 问AI: 什么是TPU Pod?
baidu_24377669的博客
06-03 1011
例如，早期的TPU Pod配置可能包含数百个TPU，而后续迭代如第四代TPU Pods，则可能提供更强大的算力，是上一代性能的数倍。总的来说，TPU Pod是一种高效的超级计算集群，它通过将多个TPU设备集成在一起并通过特殊设备进行高速互联，实现了强大的计算能力和高效的通信能力，为深度学习、人工智能等领域的研究和应用提供了有力的支持。：虽然最初TPU Pod主要用于谷歌内部的项目，但后来谷歌云平台（GCP）开始向外部用户提供基于TPU的服务，允许用户租用TPU Pod进行自己的机器学习项目。
谷歌这个大杀器要让英伟达慌了，实战评测：TPU相比GPU简直又快又省
量子位
02-24 4323
岳排槐 发自 凹非寺量子位 出品 | 公众号 QbitAI对于大多数搞深度学习的人来说，英伟达GPU之外其实没有更多选择。然而谷歌TPU芯片的出现，有望改变这一现状。这个大名鼎鼎的AI芯片，即是谷歌各种AI应用和服务背后的支撑，也是名噪天下的AlphaGo背后的基础。碾压人类顶级围棋选手，只需要四块TPU。但此前，很少有“外人”能一尝TPU的滋味。在首次公布9个月后，谷歌TPU终于面向大众开放。1
如何薅羊毛 | PyTorch终于能用上谷歌云TPU，推理性能提升4倍
机器学习算法与Python学习
10-14 835
晓查 发自 凹非寺量子位 报道 | 公众号 QbitAIFacebook在PyTorch开发者大会上正式推出了PyTorch 1.3，并宣布了对谷歌云TPU的全面支持，而...
终于能用Google的TPU跑代码了，每小时6.5美元
suiling1的博客
02-13 2713
AI科技大本营消息，北京时间周一（2月12日）晚间，Google 宣布，在 Google Cloud Platform（GCP）上正式推出Cloud TPUs 测试版服务，帮助研究人员更快地训练和运行机器学习模型 。目前的收费标准为 6.5 美元/Cloud TPU/小时，而且供应有限，需要提前申请。TPU（Tensor Processing Unit）的全名为张量处理单元 ，是 Google 专...
MxNet预训练模型到Pytorch模型的转换方式
09-16
在深度学习领域，预训练模型通常在大型数据集上训练得到，可以作为基础模型用于其他任务，节省大量的训练时间和计算资源。MxNet和PyTorch是两种流行的深度学习框架，它们都支持预训练模型的使用。然而，由于框架间的...
Pytorch 模型训练实用教程 代码免费下载
07-27
代码是《Pytorch模型训练实用教程》中的代码，这本书可以通过如下方式获取：https://github.com/tensor-yu/PyTorch_Tutorial/tree/master/Data
在Google TPU上启用PyTorch-Python开发
05-25
您可以立即在带有Google Colab的单个Cloud TPU上免费试用，并在生产环境中使用，并在带有Google Cloud的Cloud TPU Pod上使用。 PyTorch / XLA当前的CI状态：PyTorch / XLA是一个Python软件包，它使用XLA深度学习...
PyTorch加载预训练模型实例(pretrained)
09-18
在深度学习领域，预训练模型是一种非常重要的工具，它们是在大规模数据集上预先训练好的模型，可以在新的任务中提供良好的初始权重，从而加速学习过程并提高性能。PyTorch 是一个广泛使用的深度学习框架，提供了丰富...
谷歌在MLPerf上展示了用于大规模训练模型的TPU v4 Pod
CLOUDACE的博客
12-30 688
在刚刚结束的MLPerf v1.1 Training 中，谷歌展示了用于大型模型训练的 Cloud TPU v4 Pods，和开源建模框架Lingvo,使得客户可以进行大规模训练而无需承担安装和维护本地系统的成本。
通过pin_memory 优化 PyTorch 数据加载和传输:工作原理、使用场景与性能分析
deephub
11-09 4537
在数据密集型、GPU 加速的训练领域,即使是小的优化也能产生显著的性能提升。以下是何时以及如何使用高吞吐量 GPU 训练:处理大型数据集时,启用,因为它可以加速数据从 CPU 到 GPU 的传输。多 GPU 或分布式训练:在需要高效数据传输的多 GPU 设置中,此设置尤其有益。低延迟或实时应用:当最小化延迟至关重要时,与相结合可以优化管线。尝试的不同值,同时测试pin_memory和设置,并使用分析工具衡量它们对数据传输速度的影响。虽然。
PyTorch核心概念：从梯度、计算图到连续性的全面解析（三）
julac的博客
11-05 1082
view”使用与原始张量相同的内存块，因此该内存块中的任何更改都会影响所有视图以及与其关联的原始张量视图可以是连续的或不连续的。一个不连续的张量视图可以转换为连续的张量视图，并且会复制不连续的视图张量到新的内存空间中，因此数据将不再与原始数据块关联stride位置公式：给定一个strideABC(A，B，C)ABC，索引jkv(j, k, v)jkv在 1D 数据数组中的位置为A×jB×kC×vA×jB×kC×vview()和。
【pytorch】常用强化学习算法实现（持续更新）
weixin_41369892的博客
11-09 308
【代码】【pytorch】Mujoco + 常用强化学习算法（持续更新）
0基础跟德姆（dom）一起学AI 深度学习02-Pytorch基本使用
chrisfanallin的博客
11-09 968
AI全流程带你玩 0基础带你学人工智能相关软件，讲解机器学习、深度学习、大模型等人工智能领域核心知识。 帮助想了解，或者正在AI赛道成长的你。
PyTorch报错
最新发布
jk123vip的专栏
11-12 256
参考：https://blog.csdn.net/qq_51116518/article/details/140112113。解决：pip install “numpy<2”分析：NumPy版本2.01。原因：NumPy版本太高。
Pytorch从0复现worc2vec skipgram模型及fasttext训练维基百科语料词向量演示
bbaaa123的博客
11-09 1072
分别使用pytorch手动实例化并训练Skipgram模型和使用fasttext训练模型,数据集使用维基百科语料,如有需要可以在本人的github链接中提取数据集和完整代码及模型权重,开源不易,请多关注支持
Pytorch学习--神经网络--完整的模型训练套路
weixin_68930974的博客
11-11 985
Pytorch学习--神经网络--完整的模型训练套路
PyTorch模型训练与特征图可视化教程
在模型训练部分，本教程涵盖了以下几个核心概念： - **数据**：数据是模型训练的基础，包括数据的收集、预处理和增强。数据增强技术如翻转、裁剪、旋转等能有效扩大训练集，提高模型泛化能力。 - **模型**：模型...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值