AI Studio PyTorch 环境配置

最新推荐文章于 2024-05-25 20:43:36 发布

*青云*

最新推荐文章于 2024-05-25 20:43:36 发布

阅读量9.9k

点赞数 17

分类专栏：环境配置文章标签： linux python pytorch 深度学习

本文链接：https://blog.csdn.net/m0_45962052/article/details/105078259

版权

环境配置专栏收录该内容

4 篇文章 0 订阅

订阅专栏

AI Studio PyTorch 环境配置

一、进入环境

百度 AI Studio 提供了每天 12 个小时的免费算力支持。但是使用的是 paddle paddle 框架。本篇文章介绍如何在 AI Studio 上配置 PyTorch 环境。通过这种方式，可以在 AI Studio 上使用 PyTorch 框架免费的训练自己的数据，只是每次重启 kernel 的时候都要配置一遍环境。我们在之后的内容也会提到解决的方法。不过对于没有 GPU 的小朋友来说简直就是天大的福音。

我们可以进入 AI Studio 的官网中创建项目（AI Studio 官网链接）

图 1

登录账号后，点击 “创建项目”，并选择环境。注意这里要选择 “Notebook”。使用 Notebook 才会获得每天免费的 12 小时算力。其他的内容自己填写。然后先不要点击创建。

图 2

因为在创建完项目后传自己的代码只能一个一个传，而且有大小的限制。为了解决这个问题，我们可以把自己的代码打包成 .zip 格式，然后添加到数据集（数据集可以一次传 10 GB），点击"创建数据集"

图 3
将代码打包成 .zip 格式，并点击上传文件，然后点“下一步”

图 4
我们可以发现已经有这个数据集了，然后点击 “创建”。

图 5
点击查看

图 6 启动环境

图 7
选择高级版，高级版就是使用的 V100 GPU，然后点击确定进入环境

我们可以在切换到终端。即上面的终端 1。

图 9
终端没有也可以在上图那点击“新建终端”，创建终端。

解压 code

unzip data/数据集的文件夹/xxx.zip

我们可以查看一下 GPU。

nvidia-smi

Sat Mar 28 10:31:14 2020       
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 396.37                 Driver Version: 396.37                    |
|-------------------------------+----------------------+----------------------+
| GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
|===============================+======================+======================|
|   0  Tesla V100-SXM2...  On   | 00000000:00:07.0 Off |                    0 |
| N/A   32C    P0    38W / 300W |      0MiB / 16160MiB |      0%      Default |
+-------------------------------+----------------------+----------------------+
                                                                               
+-----------------------------------------------------------------------------+
| Processes:                                                       GPU Memory |
|  GPU       PID   Type   Process name                             Usage      |
|=============================================================================|
|  No running processes found                                                 |
+-----------------------------------------------------------------------------+

二、配置环境

新建 .sh 格式的 shell 文件，命名为(env.sh)，目的是导入清华源，加快 python 库的安装速度

#!/bin/sh
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/msys2/
conda config --set show_channel_urls yes

运行 env.sh

sh env.sh

初始化虚拟环境（运行完如下命令需要关闭 shell 再打开）

conda init

查看虚拟环境

conda env list

在这里插入图片描述

创建虚拟环境，或者进入自带的环境

# 创建虚拟环境并进入
conda create -n 虚拟环境名称 python=版本号
conda activate 虚拟环境名称

# 进入自带环境
conda activate 自带环境名称

安装 pytorch（官网链接）
进入官网，选择你要安装的 pytorch 版本进行安装。注意 ai studio 使用的默认 cuda 版本为 9.0。安装时要安装 cuda 版本为 9.0 的 pytorch。具体的 cuda 版本可以通过 nvcc -V查看，安装时和 pytorch 对应就行。

三、快速配置

pytorch 环境在每次重启 kernal 的时候都要配一次，很麻烦。我们可以写一个 shell 脚本，保存起来。保存的文件是不会清除的，每次重启环境我们可以运行 sh env.sh ，脚本会自动配置环境。配置的环境是在默认的自带环境中（python35-paddle120-env）。

env.sh

#!/bin/sh
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/msys2/
conda config --set show_channel_urls yes

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple torch==1.1.0 torchvision==0.3.0