split,cdn,shell脚本,tmux,记一次往国外服务器传大文件的经历

需求是这样的:将一个大概680M的Matlab数据文件传到国外某所大学的服务器上,服务器需要连接VPN才能访问,由于数据文件太大,而且如果我直接ssh连过去或者用ftp传输,那么中间很可能中断。
ps:原来的时间大概17个小时左右!天哪,不要太惊讶,这是真的!

我当然没有直接的解决方法啊…请教王博学长,经过王博学长的指点迷津,一个基本可行的方案就这么出来了:

 文件 -> CDN ->国外服务器

用cdn 的话,我只需要将文件先上传到CDN,然后只要节点同步之后,文件很有可能在国外的服务器上,这时候国外的大学访问国外的服务器速度当然是可观的了,好,这就开始干。

中国CDN技术哪家强。只要有“云”的好像都提供。我直接用了王博学长的七牛云,然后开心的准备上传文件,可是,谁知:
这里写图片描述

这就比较尴尬了,那我能不能将文件分割开来上传呢?

一 : split

对,没错,Linux下的split命令就能解决这个问题:

split 详细用法 : http://snailwarrior.blog.51cto.com/680306/140531

我将文件分成了50M为一份,然后扔到了七牛云上。

二:cdn

内容分发网络,我主要说说我目前觉得它技术上的难点:
1:如何同步节点的数据,也就是数据的一致性。
2:如何判断数据的改变和更新的策略。

三:shell 脚本

在下载文件的时候,我需要将分割的文件一个个下载下来,好麻烦,但是split分割之后的文件是有后缀规律的,最后简单的shell脚本解决了这个问题:

#!/bin/bash

for num in a b c d e f g h i j k l m n
do 
   wget http://xxx.xxx.cn/dat_a$num 
done

四:tmux

虽然现在下载任务有脚本执行了,但是我还是无法保证网络的稳定(即putty不会退出),如果putty被退出,那下载任务也退出了,因为它是putty这个进程fork出来的子进程在执行,其实tumx或者screen完美的解决了这个问题,我这里只说tmux,网上资料已经非常多了,我把自己找的好的两篇分享出来。

基础篇:tmux入门介绍
进阶篇:tmux技巧和调整

呼~学到不少东西,尤其是tmux,现在觉得这个好爽。快来试试吧。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
好的,我会尽力回答你的问题。针对你提到的问题,我可以给你一些解决方案和建议。 1. 检查服务器硬件配置 首先,你需要检查一下服务器的硬件配置,包括CPU、内存、磁盘等。如果硬件配置不足,那么服务器的响应速度肯定会受到影响,需要升级硬件或者选择更强大的服务器。 2. 优化Django应用程序 其次,你可以尝试优化Django应用程序本身,以提高响应速度。具体的优化措施包括: (1)使用缓存:缓存可以减轻服务器的负载,提高响应速度。在Django中,可以使用缓存框架来实现缓存功能。 (2)优化SQL查询:如果Django应用程序中使用了数据库,那么可以优化SQL查询来提高响应速度。具体的优化措施包括使用索引、避免全表扫描等。 (3)使用异步任务:如果Django应用程序中有一些需要较长时间才能完成的任务,可以使用异步任务来处理,避免阻塞主线程。 (4)使用CDN:如果Django应用程序中包含大量的静态资源,可以使用CDN(内容分发网络)来加速资源的访问。 3. 使用Web服务器和应用服务器 最后,你可以考虑使用Web服务器和应用服务器来提高响应速度。Web服务器和应用服务器可以分担服务器的负载,提高响应速度。常见的Web服务器包括Nginx和Apache,常见的应用服务器包括uWSGI和Gunicorn。在使用Web服务器和应用服务器时,需要根据具体的情况进行配置和优化。 以上是我可以为你提供的解决方案和建议,希望可以帮助到你。如果你有其他问题,可以随时提出来,我会尽力回答。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

杨博东的博客

请我喝瓶可乐鼓励下~

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值