记录一次服务器跑数据的全过程

目录

使用软件及服务器

前期准备

一、下载软件

二、提前准备好数据及源码

三、服务器的购买与选择

1.登录与注册

2.选择产品

3. 选择地域及可用区

4. 选择实例

 5. 镜像

 6. 存储磁盘

7. 网络

8.  系统配置

四、连接服务器

五、数据及源码上传

六、对刚才上传的数据进行解压

1. 对.7z进行解压

 2. 对.zip进行解压

 用服务器跑数据

一、进入目录文件夹

二、运行

三、注意点

可能缺少库文件

运行正确没有报错的情况

运行完毕后查看结果

服务器不使用的处理方法

暂时不用的做法

完全不用的做法

---

使用软件及服务器

远程连接软件：Xshell（用于命令窗口进行操作）

                         Xftp（用于将文件上传至服务器端，使用的是图形界面便于操作）

                         ps：也可以不使用Xftp，直接使用Xshell也可以进行文件的上传和下载

                         这边使用Xftp是因为个人觉得便于查看文件结构以及文件属性，操作也相对更方便云服务器：阿里云服务器Linux系统

前期准备

一、下载软件

Xshell及Xftp下载https://www.xshell.com/zh/free-for-home-school/进入连接页面填写姓名和邮箱，选择两者即可进行下载

邮箱会收到Xshell和Xftp两个的下载邮件，分别点开并进行下载即可

下载下来是两个.exe可执行文件，直接运行进行安装即可

 注：如果不想下载Xftp，在上面连接进行下载的时候就选择“仅Xshell”，只进行Xshell的下载，在Xshell内部进行文件的上传与下载可以参考下面的链接

Xshell中进行文件的上传与下载https://blog.csdn.net/weixin_48103302/article/details/108236491

最近发现了一款更好用的软件， 相对于Xshell来说更加的方便、美观，下载地址如下：

MobaXterm资源下载https://download.csdn.net/download/Stonesaul/87583547资源上传时设置了积分下载，如果不想使用积分下载，可以直接百度MobaXterm就能找到进行下载。

二、提前准备好数据及源码

三、服务器的购买与选择

使用的阿里云服务器，所以这里以阿里云服务器作为示例进行描述

阿里云服务器首页https://cn.aliyun.com/阿里云的首页会有很多的优惠活动，如果不熟悉Xshell及Xftp的操作，这里建议先使用试用中心进行服务器的试用，先熟悉如何使用再进行操作会节省不少的钱

新人优惠里面的服务器一般是1核2G到2核4G不同程度的服务器，对于小型的数据测试完全足够，但因为这里所使用的数据量多，因此选择其他的高性能的服务器。

1.登录与注册

       先在页面的右上角进行账户的注册与登录（这里不进行注册登录也可以，因为等下进行服务器选择购买的时候也会要求进行注册登录，顺序无所谓），之后需要先在账号内先预充值100元，后续购买服务器需要，如果没有充值也没事，后面购买的时候也会提示进行充值，会出现如下所示的提示：

2.选择产品

选择主页面左上角“产品”->“云服务器ECS”->“立即购买”->“自定义购买”

这里可以先根据红色框内的内容对服务器进行了解

对于不需要长期或者经常使用服务器，建议选择按量付费

3. 选择地域及可用区

基本上都是选择华北地区，现在是建议选择华北6（乌兰察布），现在购买服务器有优惠，相对于其他地区便宜不少

 下面放几张不同华北地区同一型号服务器的价格对比图（以通用型g6 2vCPU 8GiB为例）

 

 

 

 加之华北2（北京）和华北6（乌兰察布）有更高性能的g7型号，综合考量建议选择华北6（乌兰察布）

4. 选择实例

对于不知道选择什么样的实例规格，可以参考下图：

这里使用的是计算型C7 32vCPU 64 GiB

 5. 镜像

镜像，也就是你选择的操作系统，这里选择Linux系统

版本根据自己的需要进行选择 

 6. 存储磁盘

根据自己所需要的进行添加即可，这里不需要额外的磁盘，利用默认的40G就可以

 快照服务可以不用管，点下一步

7. 网络

这里使用默认的就可以

8.  系统配置

这里选择自定义密码，输入密码，根据自己的选择是否修改实例名和主机名

 到这里就可以确认订单了

创建成功后打开产品控制台，查看并记住（复制）公网ip

四、连接服务器

打开Xshell，新建会话，名称自己填写，主机号就是刚才的公网ip

 选择刚创建的会话进行连接，并输入用户名和密码即可连接成功

 

五、数据及源码上传

点击Xshell上方的Xftp图标，Xftp会自动连接刚才的会话

 打开后左侧是本地文件（即自己电脑中的文件），右侧是服务器文件，可以直接在右侧对文件进行增删改查，使用起来很方便

将需要上传的数据和源码直接从本地用鼠标托到右侧就可以进行上传，下方可以看到上传的进度

建议是上传数据的压缩包，因为数据越大所占用的内存也越大，这就意味着需要更长的时间进行上传，但是上传压缩包可以直接在服务器上进行解压，大大节约了上传的时间

 上传完毕后可以在Xftp的右侧看到已经上传的文件，也可以用鼠标直接进行修改和删除

六、对刚才上传的数据进行解压

（如果直接上传的是没有压缩的文件夹，就不需要执行这一步操作）

使用cd命令进入数据所在的文件夹，例cd 源码，如果本身就在root目录下无需此操作

1. 对.7z进行解压

安装7z源[root@XXXX] # sudo yum install p7zip p7zip-plugins

[root@XXXX] #7za x file.7z

 2. 对.zip进行解压

安装zip源[root@XXXX] # sudo yum install unzip

[root@XXXX] #unzip file.7z

 

 用服务器跑数据

一、进入目录文件夹

首先使用cd 源码进入到需要运行的源码的目录

二、运行

输入

nohup python -u dis*.py > iamtxt.log 2>&1 &

1. 最后一个“&”表示后台运行程序
2. “nohup” 表示程序不被挂起
3. “python”表示执行python代码
4. “-u”表示不启用缓存，实时输出打印信息到日志文件（如果不加-u，则会导致日志文件不会实时      刷新代码中的print函数的信息）
5. “dis*.py”表示python的源代码文件（根据自己的文件修改）
6. “iamtxt.log”表示输出的日志文件（根据自己的选择自己取名字）
7. “>”表示将打印信息重定向到日志文件
8. “2>&1”表示将标准错误输出转变化标准输出，可以将错误信息也输出到日志文件中（0-> stdin,       1->stdout, 2->stderr）

执行完毕后会出现

三、注意点

可能缺少库文件

 这里有一个需要注意的点，因为服务器是新创建的，内部没有源码运行时需要的python库文件，最好使用

cat iam*

或者使用

ps -ef | grep python

 进行查看是否报错，

如果出现了类似于下面截图的错误，使用

pip install 模块名       

进行库文件的安装。

改正后重新使用nohub命令进行运行

如果发现没有错误，表示数据正在运行，这时就可以直接关闭Xshell，数据会在服务器后台运行

---

运行正确没有报错的情况

运行正确没有报错的界面如下：

或

运行完毕后结果如下：（可以看到跑出来的数据以及最后一行会出现所用的时间）

---

运行完毕后查看结果

运行完毕后根据自己的代码中写的输出文件，打开Xftp查看输出的结果，这里拿自己跑的数据为例

运行

 这个是当时代码运行结束后，用来显示输出运行结果的文件。将其下载到本地文件就可以进行查看

另外，在“源码”这个文件夹下可以看到运行程序时用来表示输出的日志文件

 这个文件下载到本地后建议使用EmEditor这个软件进行打开，如果日志文件很大的话，使用记事本可能会打不开，导致卡顿。

---

服务器不使用的处理方法

暂时不用的做法

服务器在不用的时候尽可能打开阿里云的控制台，将服务器停止使用，否则会持续扣费，停止使用后也会继续收费，但是收取的费用会比使用时少很多。

完全不用的做法

服务器不用之后也是同样打开阿里云的控制台，点击实例名称，选择“释放资源”->“立即释放”。之后服务器实例就会被关闭，不会继续收费。