AWS应用 - 通过AWS-EC2将本地深度学习环境迁移到云端

• [注意] 2,3,4,5中的方法适用于普遍服务器

1.创建并打开EC2

• 打开AWS中国区网页
  

• 创建EC2

  • [注意]在创建的过程中需要保存pem密钥，该密钥在之后的登陆中长期需要
  • 事实上AWS中DeepLearning的AMI已经为我们安装了CUDA8，CUDA9以及CUDA10以及相匹配的CuDNN，使用时只需注意版本即可，CUDA版本更换见附件2。

• 找到创建的EC2，“操作”中可以进行实例的启动和关闭
  

2.通过ssh访问EC2并进行相关操作

Win10自带OpenSSH服务，默认是关闭状态，打开OpenSSH服务后可以使用ssh服务

• 需要有pem密钥对，并将pem文件放在默认路径"C:\Users\当前用户名 "目录下
• 在cmd/power shell中运行 ssh -i “密钥对.pem” username@server.address

# [example] 
# SERVER.ADDRESS可以为公有DNS或公有IP
$ ssh -i "xxx.pem" username@server.address

3.通过scp实现windows与ubuntu服务器文件传输（上传本地数据文件）

• 需要有pem密钥对
• 在cmd/power shell中运行 scp -i “密钥对.pem” file_path username@server.address:/load_path

#  [example - file]
# 注意pem文件的位置
$ scp -i "xxx.pem" '.\AWS Core Service Intro.pdf' username@server.address:/home/AI

4.搭建anaconda环境

• 安装anaconda3
  • 如果遇到问题，将anaconda目录下的bin添加到Path中并存入/etc/profile(export PATH=$PATH:/xxx/xxx ///xxx/xxx位需要加入的环境变量地址 等号两边没空格)
• 安装深度学习框架，如tensorflow-keras运行MaskRCNN

5.通过本地计算机访问远程AWS中的tensorboard和jupyter notebook

详细请参考 本地计算机访问远程AWS中的tensorboard和jupyter notebook

• 在AWS中成功打开tensorboard后找到tensorboard和jupyter notebook的端口号，一般为6006和8888，并将其添加到安全组中（如不添加，安全组默认关闭该端口号）
  

5.1 方法1

参考该方法

$ ssh -i "xxx.pem" -L 8888:127.0.0.1:8888 -L 6006:127.0.0.1:6006 account@server.address
$ tensorbaord --logdir ./xxx
$ jupyter notebook

之后在本地浏览器中输入localhost:6006、localhost:8888即可

5.2 方法2

该方法只能用于tensorboard
在ssh登录(第2节)tensorboard之后在本地浏览器中输入http://公网IP:端口号即可打开tensorboard

附件

1 下载cuda

事实上AWS中DeepLearning的AMI已经为我们安装了CUDA，只需注意版本即可。

$ wget http://developer.download.nvidia.cn/compute/cuda/repos/ubuntu1804/x86_64/cuda-repo-ubuntu1804_10.1.105-1_amd64.deb
$ sudo apt-key adv --fetch-keys http://developer.download.nvidia.com/compute/cuda/repos/ubuntu1804/x86_64/7fa2af80.pub

2 AWS相关信息

• AWS云计算-bilibili官方账号
• AWS机型
• DeepLearning AMI 介绍
• CUDA环境更换
• AWS 机器学习平台 Amazon SageMaker 详解