AWS EC2 服务建立云端Deep Learning开发环境 -- GPU with Tensorflow and Caffe

1. AWS EC2 的建立

• AMI 选择

  Ubuntu Server 14.04 LTS (HVM), SSD Volume Type - ami-48db9d28

• GPU Instance 选择

  目前只有g2.2xlarge是最廉价的方案，里面的硬盘空间最大为60g

• 因此需要添加 EBS 硬盘来扩充空间

  • Root - /dev/sda1 60GB
  • ebs - /dev/sdb 200GB

2. Access EC2 through ssh

• 使用ssh连接系统

  • weiwei_0903.pem 是下载到本地一个目录的key
  • 然后执行下面语句

  ssh -i "weiwei_0903.pem" ubuntu@ec2-52-53-235-35.us-west-1.compute.amazonaws.com

  • 让 know_host 记住这个IP地址即可

3. 加载 EBS 到刚才建立的 GPU Instance

• 查看EBS是不是存在

  ubuntu@ip-*-*-*-*:~$ lsblk
  NAME    MAJ:MIN RM   SIZE RO TYPE MOUNTPOINT
  xvda    202:0    0     8G  0 disk 
  `-xvda1 202:1    0     8G  0 part /
  xvdb    202:16   0   100G  0 disk /home/ubuntu/workspace

  • 其中 xvdb 是我单独添加的 EBS 硬盘。在最初，MOUNTPOINT下的/home/ubuntu/workspace应该是没有的，可以通过下面的步骤完成。

• 查询EBS是否已经有 File System

  [ec2-user ~]$ sudo file -s /dev/xvdb
  /dev/xvdb: data

  • 返回值是data意味着这个device目前没有文件系统，需要进一步格式化

  [ec2-user ~]$ sudo mkfs -t ext4 /dev/xvdb

  • 再次查看

  ec2-user ~]$ sudo file -s /dev/xvdb
  /dev/xvdb: Linux rev 1.0 ext4 filesystem data, UUID=1701d228-e1bd-4094-a14c-8c64d6819362 (needs journal recovery) (extents) (large files) (huge files)

• 挂载格式化好的device到当前目录

  ubuntu@ip-*-*-*-*:~$ sudo mount /dev/xvdb workspace
  ubuntu@ip-*-*-*-*:~$ lsblk