一键运行 GraphCast （在 AutoDL 或者其他新的环境）【动手学】

已于 2024-01-05 20:32:45 修改
阅读量2.2k 收藏 36
点赞数 21
文章标签： 人工智能 深度学习 图论 云计算 算法 时序数据库
于 2023-12-31 20:26:47 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/SF_Suen/article/details/135318907
版权

本文首发知乎：
https://zhuanlan.zhihu.com/p/676303910

相关文章：
从零开始运行 GraphCast （AutoDL 或者其他新的环境）【 jupyter 示例 】

本文提供动手运行 GraphCast 的教程。

只需点击 Jupyter 按钮 “Run All”，代码将自动执行模型的环境安装和运行，自动推理并演示如何训练模型（参考“三、从新环境运行 GraphCast”-“5. 运行GraphCast”）。依据机器不同，执行完毕所有代码可能需要几分钟到十几分钟。

翻译并调试好的官方 jupyter 示例如下：

从零开始运行 GraphCast （AutoDL 或者其他新的环境）【 jupyter 示例 】

所有文件都可以在 https://github.com/sfsun67/GraphCast-from-Ground-Zero 找到。

一、GraphCast 介绍

GraphCast 是一种基于机器学习和图神经网络 (GNN) 的天气预报系统。该系统已被包括欧洲中期天气预报中心（ECMWF） 在内的气象机构测试。这是一种先进的人工智能模型，能够以前所未有的准确度进行中期天气预报。GraphCast 最多可以提前 10 天预测天气状况，比行业黄金标准天气模拟系统 - 由欧洲中期天气预报中心 (ECMWF) 制作的高分辨率预报 (HRES) 更准确、更快。

这种模型巧妙的使用递归的正则二十面体进行六次迭代，所产生的多面体替代原有的地球经纬度网络。在相同分辨率条件下，图模型节点数量从一百万（1, 038, 240）下降到 4 万（40, 962）。使得模型可以在 GNN 框架下学习大规模多特征的复杂数据。
在这里插入图片描述

图1：模型结构

除了天气预报之外，GraphCast 还可以为其他重要的地理时空预报问题开辟新的方向，包括气候和生态、能源、农业、人类和生物活动以及其他复杂的动力系统。在丰富的真实世界数据上训练的学习型模拟器，将在促进机器学习在物理科学中的作用方面发挥关键作用。

二、开箱即用的 GraphCast

  1. 注册AdtoDL。

    https://www.autodl.com/home

  2. 进入算力市场。
    在这里插入图片描述

  3. 选择需要的显卡。这里测试 RTX3090 显卡。点击“1卡可租”进入下一界面。

    在这里插入图片描述

  4. 选择“社区镜像”选项卡。

    在这里插入图片描述

  5. 输入“GraphCast”，找到本项目，并创建环境。

    在这里插入图片描述
    在这里插入图片描述

  6. 模型运行参考“三、从新环境运行 GraphCast”-“5. 运行GraphCast”。点击 Jupyter 按钮 “Run All”，代码将自动执行模型的环境安装和运行。依据机器不同，执行完毕所有代码可能需要几分钟到十几分钟。

三、从新环境运行 GraphCast

1. 配置机器

  1. 打开机器。这里使用 AutoDL 的RTX 2080 Ti 11GB 进行示范。机器预装深度学习框架： JAX / 0.3.10 / 3.8 (ubuntu18.04) / Cuda 11.1。

    在这里插入图片描述

  2. 如果使用自己的机器。那么确认预装 JAX / 0.3.10 / 3.8 (ubuntu18.04) / Cuda 11.1 。GraphCast未在其他版本上测试。

  3. 如果使用AutoDL。打开熟悉的IDE，推荐 VsCode 或者 PyCharm，也直接使用 AutoDL 提供的JupyterLab。这里使用 vscode ，远程连接服务器。详见AutoDL帮助文档/VSCode远程开发https://www.autodl.com/docs/vscode/。

    在这里插入图片描述

  4. 配置 VsCode。

    1. 在 VsCode 的拓展中安装 python，同时 VsCode 会自动安装 Pylance。

      在这里插入图片描述

    2. 在 VsCode 的拓展中安装 jupyter，同时 VsCode 会自动安装 Jupyter Cell Tags、Jupyter Cell Tags 和 Jupyter Cell Tags。
      在这里插入图片描述

    3. 此时，服务器中的拓展如下。
      在这里插入图片描述

  5. 打开服务器根目录。

    在这里插入图片描述

2. 拉取代码到机器

  1. 在根目录下创建两个文件夹，分别为 code 和 data 。

在这里插入图片描述

  1. 在终端中进入目录 ：cd /root/code
    在这里插入图片描述

  2. 在终端中克隆代码 ：git clone https://github.com/sfsun67/GraphCast-from-Ground-Zero

    在这里插入图片描述

3. 下载数据

  1. 这里的数据由 Google Cloud Bucket (https://console.cloud.google.com/storage/browser/dm_graphcast 提供。模型权重、标准化统计和示例输入可在Google Cloud Bucket上找到。完整的模型训练需要下载ERA5数据集，该数据集可从ECMWF获得。
  2. 可以自由选择想要测试的数据。注意，不同的数据需要和模型参数匹配。这里提供本项目测试所用数据做参考：
    在这里插入图片描述

4. 依赖安装

  1. 点击中文版 Jupyter 示例，按照说明安装 Python3.10 。
    在这里插入图片描述

  2. 终端输出如下：

	   root@autodl-container-48ce11bc52-8d41bf84:~/code# conda update -n base -c defaults conda
Collecting package metadata (current_repodata.json): done
Solving environment: done


==> WARNING: A newer version of conda exists. <==
  current version: 4.10.3
  latest version: 23.11.0

Please update conda by running

    $ conda update -n base -c defaults conda



## Package Plan ##

  environment location: /root/miniconda3

  added / updated specs:
    - conda


The following packages will be downloaded:

    package                    |            build
    ---------------------------|-----------------
    _openmp_mutex-5.1          |            1_gnu          21 KB  defaults
    brotli-python-1.0.9        |   py38h6a678d5_7         329 KB  defaults
    ca-certificates-2023.12.12 |       h06a4308_0         126 KB  defaults
    certifi-2023.11.17         |   py38h06a4308_0         158 KB  defaults
    cffi-1.16.0                |   py38h5eee18b_0         252 KB  defaults
    charset-normalizer-2.0.4   |     pyhd3eb1b0_0          35 KB  defaults
    conda-package-handling-2.2.0|   py38h06a4308_0         267 KB  defaults
    conda-package-streaming-0.9.0|   py38h06a4308_0          27 KB  defaults
    cryptography-41.0.7        |   py38hdda0065_0         2.0 MB  defaults
    idna-3.4                   |   py38h06a4308_0          93 KB  defaults
    ld_impl_linux-64-2.38      |       h1181459_1         654 KB  defaults
    libffi-3.4.4               |       h6a678d5_0         142 KB  defaults
    libgcc-ng-11.2.0           |       h1234567_1         5.3 MB  defaults
    libgomp-11.2.0             |       h1234567_1         474 KB  defaults
    libstdcxx-ng-11.2.0        |       h1234567_1         4.7 MB  defaults
    ncurses-6.4                |       h6a678d5_0         914 KB  defaults
    openssl-3.0.12             |       h7f8727e_0         5.2 MB  defaults
    pip-23.3.1                 |   py38h06a4308_0         2.6 MB  defaults
    pycosat-0.6.6              |   py38h5eee18b_0          93 KB  defaults
    pycparser-2.21             |     pyhd3eb1b0_0          94 KB  defaults
    pyopenssl-23.2.0           |   py38h06a4308_0          96 KB  defaults
    python-3.8.18              |       h955ad1f_0        25.3 MB  defaults
    readline-8.2               |       h5eee18b_0         357 KB  defaults
    requests-2.31.0            |   py38h06a4308_0          96 KB  defaults
    setuptools-68.2.2          |   py38h06a4308_0         948 KB  defaults
    sqlite-3.41.2              |       h5eee18b_0         1.2 MB  defaults
    tk-8.6.12                  |       h1ccaba5_0         3.0 MB  defaults
    urllib3-1.26.18            |   py38h06a4308_0         196 KB  defaults
    wheel-0.41.2               |   py38h06a4308_0         108 KB  defaults
    xz-5.4.5                   |       h5eee18b_0         646 KB  defaults
    zlib-1.2.13                |       h5eee18b_0         103 KB  defaults
    zstandard-0.19.0           |   py38h5eee18b_0         474 KB  defaults
    ------------------------------------------------------------
                                           Total:        55.8 MB

The following NEW packages will be INSTALLED:

  brotli-python      pkgs/main/linux-64::brotli-python-1.0.9-py38h6a678d5_7
  charset-normalizer pkgs/main/noarch::charset-normalizer-2.0.4-pyhd3eb1b0_0
  conda-package-str~ pkgs/main/linux-64::conda-package-streaming-0.9.0-py38h06a4308_0
  zstandard          pkgs/main/linux-64::zstandard-0.19.0-py38h5eee18b_0

The following packages will be REMOVED:

  brotlipy-0.7.0-py38h27cfd23_1003
  chardet-4.0.0-py38h06a4308_1003
  six-1.16.0-pyhd3eb1b0_0
  tqdm-4.61.2-pyhd3eb1b0_1

The following packages will be UPDATED:

  _openmp_mutex                                   4.5-1_gnu --> 5.1-1_gnu
  ca-certificates                       2021.7.5-h06a4308_1 --> 2023.12.12-h06a4308_0
  certifi                          2021.5.30-py38h06a4308_0 --> 2023.11.17-py38h06a4308_0
  cffi                                1.14.6-py38h400218f_0 --> 1.16.0-py38h5eee18b_0
  conda-package-han~                   1.7.3-py38h27cfd23_1 --> 2.2.0-py38h06a4308_0
  cryptography                         3.4.7-py38hd23ed53_0 --> 41.0.7-py38hdda0065_0
  idna               pkgs/main/noarch::idna-2.10-pyhd3eb1b~ --> pkgs/main/linux-64::idna-3.4-py38h06a4308_0
  ld_impl_linux-64                        2.35.1-h7274673_9 --> 2.38-h1181459_1
  libffi                                     3.3-he6710b0_2 --> 3.4.4-h6a678d5_0
  libgcc-ng                               9.3.0-h5101ec6_17 --> 11.2.0-h1234567_1
  libgomp                                 9.3.0-h5101ec6_17 --> 11.2.0-h1234567_1
  libstdcxx-ng                            9.3.0-hd4cf53a_17 --> 11.2.0-h1234567_1
  ncurses                                    6.2-he6710b0_1 --> 6.4-h6a678d5_0
  openssl                                 1.1.1k-h27cfd23_0 --> 3.0.12-h7f8727e_0
  pip                                 21.1.3-py38h06a4308_0 --> 23.3.1-py38h06a4308_0
  pycosat                              0.6.3-py38h7b6447c_1 --> 0.6.6-py38h5eee18b_0
  pycparser                                       2.20-py_2 --> 2.21-pyhd3eb1b0_0
  pyopenssl          pkgs/main/noarch::pyopenssl-20.0.1-py~ --> pkgs/main/linux-64::pyopenssl-23.2.0-py38h06a4308_0
  python                                  3.8.10-h12debd9_8 --> 3.8.18-h955ad1f_0
  readline                                   8.1-h27cfd23_0 --> 8.2-h5eee18b_0
  requests           pkgs/main/noarch::requests-2.25.1-pyh~ --> pkgs/main/linux-64::requests-2.31.0-py38h06a4308_0
  setuptools                          52.0.0-py38h06a4308_0 --> 68.2.2-py38h06a4308_0
  sqlite                                  3.36.0-hc218d9a_0 --> 3.41.2-h5eee18b_0
  tk                                      8.6.10-hbc83047_0 --> 8.6.12-h1ccaba5_0
  urllib3            pkgs/main/noarch::urllib3-1.26.6-pyhd~ --> pkgs/main/linux-64::urllib3-1.26.18-py38h06a4308_0
  wheel              pkgs/main/noarch::wheel-0.36.2-pyhd3e~ --> pkgs/main/linux-64::wheel-0.41.2-py38h06a4308_0
  xz                                       5.2.5-h7b6447c_0 --> 5.4.5-h5eee18b_0
  zlib                                    1.2.11-h7b6447c_3 --> 1.2.13-h5eee18b_0


Proceed ([y]/n)? y


Downloading and Extracting Packages
requests-2.31.0      | 96 KB     | ########################################################################################## | 100% 
sqlite-3.41.2        | 1.2 MB    | ########################################################################################## | 100% 
ncurses-6.4          | 914 KB    | ########################################################################################## | 100% 
pycosat-0.6.6        | 93 KB     | ########################################################################################## | 100% 
openssl-3.0.12       | 5.2 MB    | ########################################################################################## | 100% 
setuptools-68.2.2    | 948 KB    | ########################################################################################## | 100% 
ca-certificates-2023 | 126 KB    | ########################################################################################## | 100% 
conda-package-stream | 27 KB     | ########################################################################################## | 100% 
python-3.8.18        | 25.3 MB   | ########################################################################################## | 100% 
readline-8.2         | 357 KB    | ########################################################################################## | 100% 
pycparser-2.21       | 94 KB     | ########################################################################################## | 100% 
idna-3.4             | 93 KB     | ########################################################################################## | 100% 
cffi-1.16.0          | 252 KB    | ########################################################################################## | 100% 
certifi-2023.11.17   | 158 KB    | ########################################################################################## | 100% 
tk-8.6.12            | 3.0 MB    | ########################################################################################## | 100% 
conda-package-handli | 267 KB    | ########################################################################################## | 100% 
libstdcxx-ng-11.2.0  | 4.7 MB    | ########################################################################################## | 100% 
pip-23.3.1           | 2.6 MB    | ########################################################################################## | 100% 
charset-normalizer-2 | 35 KB     | ########################################################################################## | 100% 
_openmp_mutex-5.1    | 21 KB     | ########################################################################################## | 100% 
pyopenssl-23.2.0     | 96 KB     | ########################################################################################## | 100% 
ld_impl_linux-64-2.3 | 654 KB    | ########################################################################################## | 100% 
brotli-python-1.0.9  | 329 KB    | ########################################################################################## | 100% 
xz-5.4.5             | 646 KB    | ########################################################################################## | 100% 
cryptography-41.0.7  | 2.0 MB    | ########################################################################################## | 100% 
libffi-3.4.4         | 142 KB    | ########################################################################################## | 100% 
wheel-0.41.2         | 108 KB    | ########################################################################################## | 100% 
urllib3-1.26.18      | 196 KB    | ########################################################################################## | 100% 
libgcc-ng-11.2.0     | 5.3 MB    | ########################################################################################## | 100% 
zstandard-0.19.0     | 474 KB    | ########################################################################################## | 100% 
libgomp-11.2.0       | 474 KB    | ########################################################################################## | 100% 
zlib-1.2.13          | 103 KB    | ########################################################################################## | 100% 
Preparing transaction: done
Verifying transaction: done
Executing transaction: done
root@autodl-container-48ce11bc52-8d41bf84:~/code# conda create -n GraphCast python=3.10    
Collecting package metadata (current_repodata.json): done
Solving environment: done


==> WARNING: A newer version of conda exists. <==
  current version: 4.10.3
  latest version: 23.11.0

Please update conda by running

    $ conda update -n base -c defaults conda



## Package Plan ##

  environment location: /root/miniconda3/envs/GraphCast

  added / updated specs:
    - python=3.10


The following packages will be downloaded:

    package                    |            build
    ---------------------------|-----------------
    _libgcc_mutex-0.1          |             main           3 KB  https://mirrors.ustc.edu.cn/anaconda/pkgs/main
    _openmp_mutex-5.1          |            1_gnu          21 KB  https://mirrors.ustc.edu.cn/anaconda/pkgs/main
    bzip2-1.0.8                |       h7b6447c_0          78 KB  https://mirrors.ustc.edu.cn/anaconda/pkgs/main
    ca-certificates-2023.12.12 |       h06a4308_0         126 KB  https://mirrors.ustc.edu.cn/anaconda/pkgs/main
    ld_impl_linux-64-2.38      |       h1181459_1         654 KB  https://mirrors.ustc.edu.cn/anaconda/pkgs/main
    libffi-3.4.4               |       h6a678d5_0         142 KB  https://mirrors.ustc.edu.cn/anaconda/pkgs/main
    libgcc-ng-11.2.0           |       h1234567_1         5.3 MB  https://mirrors.ustc.edu.cn/anaconda/pkgs/main
    libgomp-11.2.0             |       h1234567_1         474 KB  https://mirrors.ustc.edu.cn/anaconda/pkgs/main
    libstdcxx-ng-11.2.0        |       h1234567_1         4.7 MB  https://mirrors.ustc.edu.cn/anaconda/pkgs/main
    libuuid-1.41.5             |       h5eee18b_0          27 KB  https://mirrors.ustc.edu.cn/anaconda/pkgs/main
    ncurses-6.4                |       h6a678d5_0         914 KB  https://mirrors.ustc.edu.cn/anaconda/pkgs/main
    openssl-3.0.12             |       h7f8727e_0         5.2 MB  https://mirrors.ustc.edu.cn/anaconda/pkgs/main
    pip-23.3.1                 |  py310h06a4308_0         2.7 MB  https://mirrors.ustc.edu.cn/anaconda/pkgs/main
    python-3.10.13             |       h955ad1f_0        26.8 MB  https://mirrors.ustc.edu.cn/anaconda/pkgs/main
    readline-8.2               |       h5eee18b_0         357 KB  https://mirrors.ustc.edu.cn/anaconda/pkgs/main
    setuptools-68.2.2          |  py310h06a4308_0         957 KB  https://mirrors.ustc.edu.cn/anaconda/pkgs/main
    sqlite-3.41.2              |       h5eee18b_0         1.2 MB  https://mirrors.ustc.edu.cn/anaconda/pkgs/main
    tk-8.6.12                  |       h1ccaba5_0         3.0 MB  https://mirrors.ustc.edu.cn/anaconda/pkgs/main
    tzdata-2023c               |       h04d1e81_0         116 KB  https://mirrors.ustc.edu.cn/anaconda/pkgs/main
    wheel-0.41.2               |  py310h06a4308_0         109 KB  https://mirrors.ustc.edu.cn/anaconda/pkgs/main
    xz-5.4.5                   |       h5eee18b_0         646 KB  https://mirrors.ustc.edu.cn/anaconda/pkgs/main
    zlib-1.2.13                |       h5eee18b_0         103 KB  https://mirrors.ustc.edu.cn/anaconda/pkgs/main
    ------------------------------------------------------------
                                           Total:        53.5 MB

The following NEW packages will be INSTALLED:

  _libgcc_mutex      anaconda/pkgs/main/linux-64::_libgcc_mutex-0.1-main
  _openmp_mutex      anaconda/pkgs/main/linux-64::_openmp_mutex-5.1-1_gnu
  bzip2              anaconda/pkgs/main/linux-64::bzip2-1.0.8-h7b6447c_0
  ca-certificates    anaconda/pkgs/main/linux-64::ca-certificates-2023.12.12-h06a4308_0
  ld_impl_linux-64   anaconda/pkgs/main/linux-64::ld_impl_linux-64-2.38-h1181459_1
  libffi             anaconda/pkgs/main/linux-64::libffi-3.4.4-h6a678d5_0
  libgcc-ng          anaconda/pkgs/main/linux-64::libgcc-ng-11.2.0-h1234567_1
  libgomp            anaconda/pkgs/main/linux-64::libgomp-11.2.0-h1234567_1
  libstdcxx-ng       anaconda/pkgs/main/linux-64::libstdcxx-ng-11.2.0-h1234567_1
  libuuid            anaconda/pkgs/main/linux-64::libuuid-1.41.5-h5eee18b_0
  ncurses            anaconda/pkgs/main/linux-64::ncurses-6.4-h6a678d5_0
  openssl            anaconda/pkgs/main/linux-64::openssl-3.0.12-h7f8727e_0
  pip                anaconda/pkgs/main/linux-64::pip-23.3.1-py310h06a4308_0
  python             anaconda/pkgs/main/linux-64::python-3.10.13-h955ad1f_0
  readline           anaconda/pkgs/main/linux-64::readline-8.2-h5eee18b_0
  setuptools         anaconda/pkgs/main/linux-64::setuptools-68.2.2-py310h06a4308_0
  sqlite             anaconda/pkgs/main/linux-64::sqlite-3.41.2-h5eee18b_0
  tk                 anaconda/pkgs/main/linux-64::tk-8.6.12-h1ccaba5_0
  tzdata             anaconda/pkgs/main/noarch::tzdata-2023c-h04d1e81_0
  wheel              anaconda/pkgs/main/linux-64::wheel-0.41.2-py310h06a4308_0
  xz                 anaconda/pkgs/main/linux-64::xz-5.4.5-h5eee18b_0
  zlib               anaconda/pkgs/main/linux-64::zlib-1.2.13-h5eee18b_0


Proceed ([y]/n)? y


Downloading and Extracting Packages
libgcc-ng-11.2.0     | 5.3 MB    | ########################################################################################## | 100% 
libstdcxx-ng-11.2.0  | 4.7 MB    | ########################################################################################## | 100% 
ca-certificates-2023 | 126 KB    | ########################################################################################## | 100% 
_openmp_mutex-5.1    | 21 KB     | ########################################################################################## | 100% 
readline-8.2         | 357 KB    | ########################################################################################## | 100% 
ncurses-6.4          | 914 KB    | ########################################################################################## | 100% 
libgomp-11.2.0       | 474 KB    | ########################################################################################## | 100% 
libffi-3.4.4         | 142 KB    | ########################################################################################## | 100% 
tzdata-2023c         | 116 KB    | ########################################################################################## | 100% 
_libgcc_mutex-0.1    | 3 KB      | ########################################################################################## | 100% 
zlib-1.2.13          | 103 KB    | ########################################################################################## | 100% 
libuuid-1.41.5       | 27 KB     | ########################################################################################## | 100% 
wheel-0.41.2         | 109 KB    | ########################################################################################## | 100% 
sqlite-3.41.2        | 1.2 MB    | ########################################################################################## | 100% 
pip-23.3.1           | 2.7 MB    | ########################################################################################## | 100% 
bzip2-1.0.8          | 78 KB     | ########################################################################################## | 100% 
ld_impl_linux-64-2.3 | 654 KB    | ########################################################################################## | 100% 
tk-8.6.12            | 3.0 MB    | ########################################################################################## | 100% 
xz-5.4.5             | 646 KB    | ########################################################################################## | 100% 
setuptools-68.2.2    | 957 KB    | ########################################################################################## | 100% 
python-3.10.13       | 26.8 MB   | ########################################################################################## | 100% 
openssl-3.0.12       | 5.2 MB    | ########################################################################################## | 100% 
Preparing transaction: done
Verifying transaction: done
Executing transaction: done
#
# To activate this environment, use
#
#     $ conda activate GraphCast
#
# To deactivate an active environment, use
#
#     $ conda deactivate

root@autodl-container-48ce11bc52-8d41bf84:~/code# conda init bash && source /root/.bashrc
no change     /root/miniconda3/condabin/conda
no change     /root/miniconda3/bin/conda
no change     /root/miniconda3/bin/conda-env
no change     /root/miniconda3/bin/activate
no change     /root/miniconda3/bin/deactivate
no change     /root/miniconda3/etc/profile.d/conda.sh
no change     /root/miniconda3/etc/fish/conf.d/conda.fish
no change     /root/miniconda3/shell/condabin/Conda.psm1
no change     /root/miniconda3/shell/condabin/conda-hook.ps1
no change     /root/miniconda3/lib/python3.8/site-packages/xontrib/conda.xsh
no change     /root/miniconda3/etc/profile.d/conda.csh
modified      /root/.bashrc

==> For changes to take effect, close and re-open your current shell. <==

+--------------------------------------------------AutoDL--------------------------------------------------------+
目录说明:
╔═════════════════╦════════╦════╦═════════════════════════════════════════════════════════════════════════╗
║目录             ║名称    ║速度║说明                                                                     ║
╠═════════════════╬════════╬════╬═════════════════════════════════════════════════════════════════════════╣
║/                ║系 统 盘║一般║实例关机数据不会丢失，可存放代码等。会随保存镜像一起保存。               ║
║/root/autodl-tmp ║数 据 盘║ 快 ║实例关机数据不会丢失，可存放读写IO要求高的数据。但不会随保存镜像一起保存 ║
║/root/autodl-fs  ║文件存储║一般║可以实现多实例间的文件同步共享，不受实例开关机和保存镜像的影响。         ║
╚═════════════════╩════════╩════╩═════════════════════════════════════════════════════════════════════════╝
CPU ：12 核心
内存：40 GB
GPU ：NVIDIA GeForce RTX 2080 Ti, 1
存储：
  系 统 盘/               ：4% 1.2G/30G
  数 据 盘/root/autodl-tmp：1% 108K/50G
  文件存储/root/autodl-fs ：1% 760M/200G
+----------------------------------------------------------------------------------------------------------------+
*注意: 
1.系统盘较小请将大的数据存放于数据盘或网盘中，重置系统时数据盘和网盘中的数据不受影响
2.清理系统盘请参考：https://www.autodl.com/docs/qa/
(base) root@autodl-container-48ce11bc52-8d41bf84:~/code# conda activate GraphCast
(GraphCast) root@autodl-container-48ce11bc52-8d41bf84:~/code# python -- 
Python 3.10.13 (main, Sep 11 2023, 13:44:35) [GCC 11.2.0] on linux
Type "help", "copyright", "credits" or "license" for more information.
>>> 
[1]+  Stopped                 python --
(GraphCast) root@autodl-container-48ce11bc52-8d41bf84:~/code# python --version
Python 3.10.13
(GraphCast) root@autodl-container-48ce11bc52-8d41bf84:~/code# conda install ipykernel
Collecting package metadata (current_repodata.json): done
Solving environment: done


==> WARNING: A newer version of conda exists. <==
  current version: 4.10.3
  latest version: 23.11.0

Please update conda by running

    $ conda update -n base -c defaults conda



## Package Plan ##

  environment location: /root/miniconda3/envs/GraphCast

  added / updated specs:
    - ipykernel


The following packages will be downloaded:

    package                    |            build
    ---------------------------|-----------------
    asttokens-2.0.5            |     pyhd3eb1b0_0          20 KB  https://mirrors.ustc.edu.cn/anaconda/pkgs/main
    backcall-0.2.0             |     pyhd3eb1b0_0          13 KB  https://mirrors.ustc.edu.cn/anaconda/pkgs/main
    comm-0.1.2                 |  py310h06a4308_0          13 KB  https://mirrors.ustc.edu.cn/anaconda/pkgs/main
    debugpy-1.6.7              |  py310h6a678d5_0         2.0 MB  https://mirrors.ustc.edu.cn/anaconda/pkgs/main
    decorator-5.1.1            |     pyhd3eb1b0_0          12 KB  https://mirrors.ustc.edu.cn/anaconda/pkgs/main
    exceptiongroup-1.0.4       |  py310h06a4308_0          28 KB  https://mirrors.ustc.edu.cn/anaconda/pkgs/main
    executing-0.8.3            |     pyhd3eb1b0_0          18 KB  https://mirrors.ustc.edu.cn/anaconda/pkgs/main
    ipykernel-6.25.0           |  py310h2f386ee_0         231 KB  https://mirrors.ustc.edu.cn/anaconda/pkgs/main
    ipython-8.15.0             |  py310h06a4308_0         1.1 MB  https://mirrors.ustc.edu.cn/anaconda/pkgs/main
    jedi-0.18.1                |  py310h06a4308_1         988 KB  https://mirrors.ustc.edu.cn/anaconda/pkgs/main
    jupyter_client-8.6.0       |  py310h06a4308_0         185 KB  https://mirrors.ustc.edu.cn/anaconda/pkgs/main
    jupyter_core-5.5.0         |  py310h06a4308_0          77 KB  https://mirrors.ustc.edu.cn/anaconda/pkgs/main
    libsodium-1.0.18           |       h7b6447c_0         244 KB  https://mirrors.ustc.edu.cn/anaconda/pkgs/main
    matplotlib-inline-0.1.6    |  py310h06a4308_0          16 KB  https://mirrors.ustc.edu.cn/anaconda/pkgs/main
    nest-asyncio-1.5.6         |  py310h06a4308_0          14 KB  https://mirrors.ustc.edu.cn/anaconda/pkgs/main
    packaging-23.1             |  py310h06a4308_0          78 KB  https://mirrors.ustc.edu.cn/anaconda/pkgs/main
    parso-0.8.3                |     pyhd3eb1b0_0          70 KB  https://mirrors.ustc.edu.cn/anaconda/pkgs/main
    pexpect-4.8.0              |     pyhd3eb1b0_3          53 KB  https://mirrors.ustc.edu.cn/anaconda/pkgs/main
    pickleshare-0.7.5          |  pyhd3eb1b0_1003          13 KB  https://mirrors.ustc.edu.cn/anaconda/pkgs/main
    platformdirs-3.10.0        |  py310h06a4308_0          33 KB  https://mirrors.ustc.edu.cn/anaconda/pkgs/main
    prompt-toolkit-3.0.36      |  py310h06a4308_0         592 KB  https://mirrors.ustc.edu.cn/anaconda/pkgs/main
    psutil-5.9.0               |  py310h5eee18b_0         368 KB  https://mirrors.ustc.edu.cn/anaconda/pkgs/main
    ptyprocess-0.7.0           |     pyhd3eb1b0_2          17 KB  https://mirrors.ustc.edu.cn/anaconda/pkgs/main
    pure_eval-0.2.2            |     pyhd3eb1b0_0          14 KB  https://mirrors.ustc.edu.cn/anaconda/pkgs/main
    pygments-2.15.1            |  py310h06a4308_1         1.8 MB  https://mirrors.ustc.edu.cn/anaconda/pkgs/main
    python-dateutil-2.8.2      |     pyhd3eb1b0_0         233 KB  https://mirrors.ustc.edu.cn/anaconda/pkgs/main
    pyzmq-25.1.0               |  py310h6a678d5_0         462 KB  https://mirrors.ustc.edu.cn/anaconda/pkgs/main
    six-1.16.0                 |     pyhd3eb1b0_1          18 KB  https://mirrors.ustc.edu.cn/anaconda/pkgs/main
    stack_data-0.2.0           |     pyhd3eb1b0_0          22 KB  https://mirrors.ustc.edu.cn/anaconda/pkgs/main
    tornado-6.3.3              |  py310h5eee18b_0         644 KB  https://mirrors.ustc.edu.cn/anaconda/pkgs/main
    traitlets-5.7.1            |  py310h06a4308_0         203 KB  https://mirrors.ustc.edu.cn/anaconda/pkgs/main
    wcwidth-0.2.5              |     pyhd3eb1b0_0          26 KB  https://mirrors.ustc.edu.cn/anaconda/pkgs/main
    zeromq-4.3.4               |       h2531618_0         331 KB  https://mirrors.ustc.edu.cn/anaconda/pkgs/main
    ------------------------------------------------------------
                                           Total:         9.8 MB

The following NEW packages will be INSTALLED:

  asttokens          anaconda/pkgs/main/noarch::asttokens-2.0.5-pyhd3eb1b0_0
  backcall           anaconda/pkgs/main/noarch::backcall-0.2.0-pyhd3eb1b0_0
  comm               anaconda/pkgs/main/linux-64::comm-0.1.2-py310h06a4308_0
  debugpy            anaconda/pkgs/main/linux-64::debugpy-1.6.7-py310h6a678d5_0
  decorator          anaconda/pkgs/main/noarch::decorator-5.1.1-pyhd3eb1b0_0
  exceptiongroup     anaconda/pkgs/main/linux-64::exceptiongroup-1.0.4-py310h06a4308_0
  executing          anaconda/pkgs/main/noarch::executing-0.8.3-pyhd3eb1b0_0
  ipykernel          anaconda/pkgs/main/linux-64::ipykernel-6.25.0-py310h2f386ee_0
  ipython            anaconda/pkgs/main/linux-64::ipython-8.15.0-py310h06a4308_0
  jedi               anaconda/pkgs/main/linux-64::jedi-0.18.1-py310h06a4308_1
  jupyter_client     anaconda/pkgs/main/linux-64::jupyter_client-8.6.0-py310h06a4308_0
  jupyter_core       anaconda/pkgs/main/linux-64::jupyter_core-5.5.0-py310h06a4308_0
  libsodium          anaconda/pkgs/main/linux-64::libsodium-1.0.18-h7b6447c_0
  matplotlib-inline  anaconda/pkgs/main/linux-64::matplotlib-inline-0.1.6-py310h06a4308_0
  nest-asyncio       anaconda/pkgs/main/linux-64::nest-asyncio-1.5.6-py310h06a4308_0
  packaging          anaconda/pkgs/main/linux-64::packaging-23.1-py310h06a4308_0
  parso              anaconda/pkgs/main/noarch::parso-0.8.3-pyhd3eb1b0_0
  pexpect            anaconda/pkgs/main/noarch::pexpect-4.8.0-pyhd3eb1b0_3
  pickleshare        anaconda/pkgs/main/noarch::pickleshare-0.7.5-pyhd3eb1b0_1003
  platformdirs       anaconda/pkgs/main/linux-64::platformdirs-3.10.0-py310h06a4308_0
  prompt-toolkit     anaconda/pkgs/main/linux-64::prompt-toolkit-3.0.36-py310h06a4308_0
  psutil             anaconda/pkgs/main/linux-64::psutil-5.9.0-py310h5eee18b_0
  ptyprocess         anaconda/pkgs/main/noarch::ptyprocess-0.7.0-pyhd3eb1b0_2
  pure_eval          anaconda/pkgs/main/noarch::pure_eval-0.2.2-pyhd3eb1b0_0
  pygments           anaconda/pkgs/main/linux-64::pygments-2.15.1-py310h06a4308_1
  python-dateutil    anaconda/pkgs/main/noarch::python-dateutil-2.8.2-pyhd3eb1b0_0
  pyzmq              anaconda/pkgs/main/linux-64::pyzmq-25.1.0-py310h6a678d5_0
  six                anaconda/pkgs/main/noarch::six-1.16.0-pyhd3eb1b0_1
  stack_data         anaconda/pkgs/main/noarch::stack_data-0.2.0-pyhd3eb1b0_0
  tornado            anaconda/pkgs/main/linux-64::tornado-6.3.3-py310h5eee18b_0
  traitlets          anaconda/pkgs/main/linux-64::traitlets-5.7.1-py310h06a4308_0
  wcwidth            anaconda/pkgs/main/noarch::wcwidth-0.2.5-pyhd3eb1b0_0
  zeromq             anaconda/pkgs/main/linux-64::zeromq-4.3.4-h2531618_0


Proceed ([y]/n)? y


Downloading and Extracting Packages
packaging-23.1       | 78 KB     | ############################################################################################## | 100% 
matplotlib-inline-0. | 16 KB     | ############################################################################################## | 100% 
ipykernel-6.25.0     | 231 KB    | ############################################################################################## | 100% 
jedi-0.18.1          | 988 KB    | ############################################################################################## | 100% 
jupyter_client-8.6.0 | 185 KB    | ############################################################################################## | 100% 
six-1.16.0           | 18 KB     | ############################################################################################## | 100% 
traitlets-5.7.1      | 203 KB    | ############################################################################################## | 100% 
platformdirs-3.10.0  | 33 KB     | ############################################################################################## | 100% 
pygments-2.15.1      | 1.8 MB    | ############################################################################################## | 100% 
pickleshare-0.7.5    | 13 KB     | ############################################################################################## | 100% 
asttokens-2.0.5      | 20 KB     | ############################################################################################## | 100% 
debugpy-1.6.7        | 2.0 MB    | ############################################################################################## | 100% 
prompt-toolkit-3.0.3 | 592 KB    | ############################################################################################## | 100% 
psutil-5.9.0         | 368 KB    | ############################################################################################## | 100% 
zeromq-4.3.4         | 331 KB    | ############################################################################################## | 100% 
jupyter_core-5.5.0   | 77 KB     | ############################################################################################## | 100% 
decorator-5.1.1      | 12 KB     | ############################################################################################## | 100% 
wcwidth-0.2.5        | 26 KB     | ############################################################################################## | 100% 
ipython-8.15.0       | 1.1 MB    | ############################################################################################## | 100% 
pexpect-4.8.0        | 53 KB     | ############################################################################################## | 100% 
backcall-0.2.0       | 13 KB     | ############################################################################################## | 100% 
comm-0.1.2           | 13 KB     | ############################################################################################## | 100% 
stack_data-0.2.0     | 22 KB     | ############################################################################################## | 100% 
pyzmq-25.1.0         | 462 KB    | ############################################################################################## | 100% 
exceptiongroup-1.0.4 | 28 KB     | ############################################################################################## | 100% 
tornado-6.3.3        | 644 KB    | ############################################################################################## | 100% 
libsodium-1.0.18     | 244 KB    | ############################################################################################## | 100% 
nest-asyncio-1.5.6   | 14 KB     | ############################################################################################## | 100% 
python-dateutil-2.8. | 233 KB    | ############################################################################################## | 100% 
pure_eval-0.2.2      | 14 KB     | ############################################################################################## | 100% 
parso-0.8.3          | 70 KB     | ############################################################################################## | 100% 
ptyprocess-0.7.0     | 17 KB     | ############################################################################################## | 100% 
executing-0.8.3      | 18 KB     | ############################################################################################## | 100% 
Preparing transaction: done
Verifying transaction: done
Executing transaction: done
(GraphCast) root@autodl-container-48ce11bc52-8d41bf84:~/code# python -m ipykernel install --user --name=GraphCast-python3.10
Installed kernelspec GraphCast-python3.10 in /root/.local/share/jupyter/kernels/graphcast-python3.10
(GraphCast) root@autodl-container-48ce11bc52-8d41bf84:~/code#

  1. 在 Jupyter 中选择新的内核 GraphCast-python3.10。

    在这里插入图片描述
    在这里插入图片描述

    在这里插入图片描述

5. 运行GraphCast

  1. 点击 Jupyter 按钮 “Run All”，代码将自动执行模型的环境安装和运行。依据机器不同，执行完毕所有代码可能需要几分钟到十几分钟。
    在这里插入图片描述

  2. 模型推理结果如下
    在这里插入图片描述
    在这里插入图片描述

  3. 模型训练结果如下
    在这里插入图片描述

SF_Suen
关注
  • 21
    点赞
  • 踩
  • 36
    收藏
    觉得还不错? 一键收藏
  • 7
    评论
AutoDL-Projects:在PyTorch中实现的自动化深度学习算法
03-07
我们为什么要使用AutoDL-Projects 简单的库依赖所有算法都在同一代码库中主动维护AutoDL-Projects功能目前，该项目提供了以下算法和脚本来运行它们。 请在说明列中提供的链接中查看详细信息。 类型ABBRV 演算法描述...
pycharm连接autodl服务器（yolov8训练自己的数据集）
02-16
里面没写怎么配置yolov8环境，这个参考官方文档就行很简单一行代码即可
零基础运行 GraphCast 实例
2301_80673187的博客
02-16 557
提供 GraphCast 实例代码、测试数据以及部署运行 GraphCast 的详细教程，可真正零基础运行 GraphCast 实例。
GraphCast：基于机器学习的全球中期天气预测模型
zuiyishihefang的博客
11-28 2034
文章信息文章题为”GraphCast: Learning skillful medium-range global weather forecasting”，该文章于2023年发表至Science，文章内容主要关于利用机器学习模型，实现高效、准确的全球中期天气预测。由于文章内容较多，本文仅对研究背景、模型方法进行简要介绍。引入全球中期天气预报对许多社会和经济领域的决策至关重要。传统的数值天气预报模...
1分钟精准预测未来10天天气，谷歌开源GraphCast
RPA中国
11-16 430
GraphCast主要提供了GraphCast、GraphCast_small和GraphCast_operational三种不同分辨率和训练数据的模型，以满足不同组织的需求。值得一提的是，尽管训练数据中不包含任何物理设计,但GraphCast依然学会了许多基本的大气动力学机制,如罗斯贝波传播等,这些都是从数据中自动学习,而非人为设计。500hPa高度预报:GraphCast的RMSE（衡量模型预测精度的常用指标）平均比HRES降低15%,达到显著水平，超过HRES的预报真值相关度也有显著提升。
手把手教你创建自己的人工智能天气预报！
2401_84205765的博客
04-14 1090
在本文中，我们展示了如何使用ECMWF提供的AI-Models存储库来生成AI天气预报。使用来自气候数据存储的初始化数据，我们能够使用两个模型生成预报：华为的PanguWeather和NVIDIA的FourCastNet。使用预训练模型生成一个为期10天的天气预报在GPU上大约需要2分钟，在CPU上大约需要3小时。与生成数值天气预报所需的巨大计算工作相比，推理的成本非常低。现在，个人消费者和资金较少的天气服务机构可以利用ERA5训练数据生成自己的人工智能天气预报，至少可以提供空间和时间分辨率。
探索未来天气：GraphCast，全球中程天气预测的革命性工具
gitblog_00072的博客
05-11 408
探索未来天气：GraphCast，全球中程天气预测的革命性工具 项目地址:https://gitcode.com/google-deepmind/graphcast 在这个日益依赖准确气象数据的时代，我们很高兴地向您推介一个开创性的开源项目——GraphCast。这个项目采用先进的深度学习技术和图神经网络（GNN），旨在实现对全球中程天气预报的精准和高效预测。 项目介绍 GraphCast 是一项...
资讯 | GraphCast：用于更快、更准确全球天气预报的人工智能模型
数据派THU
12-19 338
来源：图科学实验室Graph Science Lab 本文约2700字，建议阅读5分钟 本文为你一种最先进的人工智能模型，能够以前所未有的准确度进行中期天气预报。我们最先进的模型在一分钟内以前所未有的准确度提供 10 天的天气预报。天气以大大小小的方式影响着我们所有人。它可以决定我们早上的着装，为我们提供绿色能源，并且在最坏的情况下，会引发可能摧毁社区的风暴。在极端天气日益严重的世界中，快速准确的...
从零开始运行 GraphCast （AutoDL 或者其他新的环境）【 jupyter 示例 】
SF_Suen的博客
12-31 2015
GraphCast 是一种基于机器学习和图神经网络 (GNN) 的天气预报系统。该系统已被包括欧洲中期天气预报中心（ECMWF） 在内的气象机构测试。 这是一种先进的人工智能模型，能够以前所未有的准确度进行中期天气预报。GraphCast 最多可以提前 10 天预测天气状况，比行业黄金标准天气模拟系统 - 由欧洲中期天气预报中心 (ECMWF) 制作的高分辨率预报 (HRES) 更准确、更快。
AutoDL:自动深度学习框架，用于在Keras上对图像进行分类
03-28
在jupyter控制台或ipython上，导入帮助程序： >>> from autodl import AutoDL >>> ad = AutoDL('./data-cats-dogs/') >>> ad.run() Epoch 1/10 6/6 [==============================] - 7s 1s/step - loss: 4.9672...
autodl-irssi：由社区驱动的autodl-irssi分支
02-04
autodl-irssi：由社区驱动的autodl-irssi分支
autodl-trackers：autodl-irssi的autodl-community分支的跟踪器文件
02-02
autodl-trackers：autodl-irssi的autodl-community分支的跟踪器文件
强化学习——学习笔记3
最新发布
qq_52302919的博客
05-29 1172
先上图：在上述流程图中所说的Q表即为下表：假设我们在玩一个小游戏，该游戏有上下左右不同的动作，同时也会有不同的状态，比如游戏结束等。Q表也可以称为状态-价值函数QsaQ(s,a)Qsa：这个表格的每一行代表每个 state上述例子中的游戏结束等，每一列代表每个 action上述例子中的上下左右，表格的数值就是在各个 state 下采取各个 action 时能够获得的最大的未来期望奖励。
学 Python 具体能干什么？
猿小白的博客
05-26 1147
Python 是一种功能强大、用途广泛的编程语言，因其简洁易读的语法和丰富的库生态系统而备受欢迎。
从零实现Llama3中文版
wdn blog
05-26 712
从零实现Llama3中文版，该项目能在一台 16G RAM 的笔记本电脑上运行。
强化学习——学习笔记
qq_52302919的博客
05-27 1162
强化学习问题通常可以建模为一个马尔可夫决策过程，包括以下几个要素：1、状态集合 (State Set)：S；2、动作集合 (Action Set)：A；Ps′∣saPs′∣sa，描述在状态s下执行动作a后转移到状态s′s^′s′的概率；Rsas′Rsas′，描述在状态s 下执行动作a并转移到状态s′后获得的奖励。πa∣sπ (a∣s)πa∣s，描述智能体在状态s下选择动作a 的概率。
AI开发初体验：昇腾加持，OrangePi AIpro 开发板
上周的博客
05-27 1157
因为工作需要，以及个人兴趣，本人经常购买开发板进行调试、学习，但具备AI计算的开发板，本人尚未体验过，究其原因，是因为自觉知识储备可能无法胜任AI的开发工作。然而，在体验了OrangePi AIpro 开发板之后，却大大改变了我的看法——AI时代，真的已经来临！OrangePi AIpro 开发板是香橙派联合华为精心打造的高性能 AI 开发板，其内置华为昇腾 AI 处理器，作为国产AI 芯片翘楚，实乃开发板的一大亮点！
autodl配置环境
08-17
要配置AutoDL的环境，您可以按照以下步骤进行操作： 1. 确保您的服务器上有正常可运行的Python环境。可以通过在PyCharm中打开项目，然后转到File -> Setting -> Project -> Python Interpreter来检查。 2. 在PyCharm中，单击右上方的小齿轮，选择"Add"以添加一个新的Python解释器。 3. 在弹出的窗口中，选择"SSH Interpreter"，然后选择"Existing server configuration"并选择您配置的SSH连接。 4. 单击"Next"，在"Interpreter"字段中输入Python的路径。请注意，这里的路径可能是在您配置的虚拟环境下的Python路径。 5. 单击"Finish"来完成SSH解释器的配置。 现在，您已经成功配置了AutoDL的环境，可以在PyCharm中使用SSH和SFTP连接远程服务器，将本地项目上传到服务器，并配置远程解释器。此外，您还可以使用PyCharm访问远程服务器的终端。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* *3* [AutoDL租用实例、配置环境、Pycharm中SSH、SFTP连接远程服务器、Pycharm访问远程服务器终端](https://blog.csdn.net/m0_46204067/article/details/129474469)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT0_1"}}] [.reference_item style="max-width: 100%"] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 7
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值