阿里云ECS搭建云端网络训练环境(纯小白,更新中))
ECS服务器购买流程
我开始是包了一个月的,因为害怕每次都要上传数据集的话很麻烦(好几个G,然后端口就开了2M有点慢),但是发现,可以保存镜像,可以把你整个系统盘都保存下来,然后你付个费(大概几块钱,看你盘的大小),每次开服务器的时候,都用你保存的镜像创建实例就可以了,配置好的环境和文件都会存下来的。
环境配置记录
在自己的服务器上训练的时候,环境配置为tensorflow1.8,window,GTX1080,并用pycharm的虚拟环境搭建的深度学习训练环境。到了云服务器上换成了linux,不是很熟悉,所以一切都要从头来。
主要参考这里
阿里云使用笔记(一):从零开始配置阿里云GPU服务器训练深度学习模型
安装Anaconda
空空如也的服务器,直接装Anaconda的话会报错
Anaconda3-5.0.1-Linux-x86_64.sh: line 335: bunzip2: command not found
tar: This does not look like a tar archive
tar: Exiting with failure status due to previous errors
所以首先要安装一下bzips
[root@hzz ~]# yum install -y bzip2
然后再bash Anaconda的安装包
这里可以大概看一下Anaconda给我们装了那些东西:
首先是3.6.3的python
Python 3.6.3 :: Anaconda, Inc.
installing: jupyter_console-5.2.0-py36he59e554_1 ...
这里会显示
Do you wish the installer to prepend the Anaconda3 install location
to PATH in your /root/.bashrc ? [yes|no]
因为装根目录下了,不知道有啥隐患,所以先记录一下
!!!一定要创建自己的账号,不然在根目录下,许多文件的访问权限会很有问题!!!
现在系统中有两个用户,一个是我自己一个是root
anaconda安装中说要配置bashrc的问题我的过程中显示他配置的是root中的bashrc而不是我自己文件下的,所以我打开看了一下bashrc下有啥东西
export PATH="$PATH:/usr/local/cuda-8.0/bin"
export LD_LIBRARY_PATH="$LD_LIBRARY_PATH:/usr/local/cuda-8.0/lib64"
# added by Anaconda3 installer
export PATH="/home/hzz/anaconda3/bin:$PATH"
把这些加进自己目录下的bashrc中,然后就能运行conda了
默认使用的是vim命令,这里比较重要的一些就是:
:x
:q
i#进入编辑
esc#退出编辑
-bash: /home/hzz/anaconda3/bin: Is a directory
#创建虚拟环境
conda create -n jupyter_notebook python=3
#创建用户,修改密码
[root@hzz ~]# id
uid=0(root) gid=0(root) groups=0(root)
[root@hzz ~]# passwd hzz
Changing password for user hzz.
New password:
Retype new password:
passwd: all authentication tokens updated successfully.
Jupyter NoteBook远程连接
这个下一个Putty然后设置localhost的端口,连接到服务器你给jupyter notebook开的端口(一般是8888)
文件传输
WinScp 赛高