H5 通过HTTP协议实现大文件上传服务器,支持超大文件上传和断点续传

前段时间简单写了一篇关于上传服务器的文章“大型视频网站的文件上传和断点续传是如何实现的”,引起了很多同行程序猿的关注,大家都在关心实现的原理,下面我来解释一下。
整个功能模块的实现原理其实很简单:
首先,服务器端由C语言实现,而不是用java、PHP这种脚本来实现,这样服务器程序对资源的利用效率最高;
其次,服务器端即时写入硬盘,因此无需再次调用move_uploaded_file、InputStreamReader这种需要缓存的技      术来避免服务器内存占用与浏览器请求超时;
再次,客户端需要支持HTML5与IFRAME(针对老浏览器),并且支持获取文件上传进度。

为了更好的适应当前的移动互联网,要求对上传服务支持断点续传、断线重连,因为移动互联网并不非常稳定;再者,上传一个大文件发生异常掉线的可能性非常大,为了避免重新上传,支持断点续传就变得非常必要了。

支持断点续传的实现思路是:
客户端向服务器端上传某个文件,并不断记录上传的进度,如果一旦掉线或发生其它异常,客户端可以查询某个文件已经上传的状态,并从上次上传中断的位置接着上传。

网上也有大师采用分片文件上传方式来实现大文件上传,方法是将文件切成小片,例如4MB一个片段,服务器端每次接收一小片文件保存成一个临时文件,等待所有片段传输完毕后,再执行合并。笔者认为,如果原始文件足够小,这种方式是可以的,但一旦文件有几百兆或者几个GB或者几十个GB,则合并文件的时间会足够长,常常导致浏览器超时或服务器阻塞。

如果自己实现客户端来上传,则支持断点续传将是一件非常简单的事情。但是支持浏览器断点续传(无需安装第三方插件)一般来说要比自己做客户端实现断点续传难度要大。我的实现思路如下:

一、浏览器在上传某个文件时候,先给这个文件生成一个HASH值,必须在浏览器端生成这个HASH值。

不能单循地依据文件名来查询文件上传记录,文件名的重复性很大,文件名 + 文件尺寸组成的值重复性缩小,
如果再加上文件修改时间,则重复性进一步缩小,如果再加上一个浏览器的 ID可以进一步缩小重复性冲突。最好的HASH值的计算方法是用文件的内容进行MD5计算,但计算量极大,过多的耗时会影响上传的体验。

基于上述理由,我的HASH值计算思路如下:

    1.首先给浏览器赋予一个ID,这个ID保存在Cookie里;
    2.浏览器的 ID+ 文件的修改时间 + 文件名 + 文件尺寸 的结果进行MD5来计算一个文件的HASH值;
    3.浏览器的ID 是系统在浏览器访问文件上传站点时自动给浏览器授予的。

//简单的Cookie帮助函数
function setCookie(cname,cvalue,exdays)
{
  var d = new Date();
  d.setTime(d.getTime()+(exdays*24*60*60*1000));
  var expires = "expires="+d.toGMTString();
  document.cookie = cname + "=" + cvalue + "; " + expires;
}
 
 
function getCookie(cname)
{
  var name = cname + "&#
  • 1
    点赞
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值