大文件上传浅谈,以及遇到的问题

原创 2004年08月28日 03:29:00

最近做在做一个项目,涉及到文件上传的问题。 以前也做过文件上传。但都是些小文件,不超过2M。 这次要求上传1G以上的东西。 没办法找来资料研究了一下。 基于WEB的文件上传可以使用FTP和HTTP两种协议,用FTP的话虽然传输稳定,但安全性是个严重的问题,所以没有考虑。 剩下只有HTTP。 在HTTP中有3种方式,PUT、WEBDAV、RFC1867,前2种方法不适合大文件上传,在这里也不说了。

确定使用RFC1867格式处理之后开始分析流行的上传组件。看了N多代码之后发现,目前无组件程序和一些COM组件都是使用Request.BinaryRead方法。一次性得到上传的数据,然后分析处理。这就是为什么上传大文件很慢的原因了,IIS超时不说,就算1G文件上去了,分析处理也得一阵子。 之后我把注意力放在国外商业组件上,比较流行的有Power-Web,AspUpload,ActiveFile,ABCUpload,aspSmartUpload,SA-FileUp。其中比较优秀的是ASPUPLOAD和SA-FILE,他们号称可以处理2G的文件(SA-FILE EE版甚至没有文件大小的限制),而且效率也是非常棒,难道编程语言的效率差这么多?(我的编程环境是VB6)  查了一些资料,觉得他们都是直接操作文件流。这样就不受文件大小的制约。 真是个好方法。

但老外的东西也不是绝对完美,ASPUPLOAD处理大文件后,内存占用情况惊人。1G左右都是稀松平常。我用的是3.0.0.3版。至于SA-FILE虽然是好东西但是破解难寻(郁闷死..) 失望之际,发现2款上传组件,Lion.Web.UpLoadModule和AspnetUpload,都是.NET的,估计也是操作文件流。但是上传速度和CPU占用率都不如老外的商业组件。

做了个测试,LAN内传1G的文件。ASPUPLOAD上传速度平均是4.4M/s,CPU占用10-15,内存占用700M。SA-FILE也差不多这样。而AspnetUpload最快也只有1.5M/s,平均是700K/s,CPU占用15-39,测试环境:PIII800,256M内存,100M LAN。我想AspnetUpload速度慢是可能因为一边接收文件,一边写硬盘。资源占用低的代价就是降低传输速度。 但也不得不佩服老外的程序,CPU占用如此之低.....这样2个.net的组件也被PASS.

稍带2个问题就是上传进度和断点续传。
显示上传进度比较简单,主要是查询用户上传的状态,用Script显示到浏览器中,至于无刷新显示就要看脚本语言运用的熟练程度了。
断点续传,HTTP方式是实现不了的,因为浏览器每次上传文件都是从头开始,没有Range标签。实现的方法只能用ActiveX。


研究之后决定写个CGI来处理文件上传。 这样可以不走IIS以免程序出错影响网站访问。小弟比较菜只能用VB6做,完成之后发现WIN CGI的效率简直就是差的不能再差。索性写个FILE SERVER,专门处理文件的上传。但是现在遇到一个2个问题。

一、用WINSOCK控件接收到的文本有乱码 不知道是程序转换时的错误还是WINSOCK本身垃圾,SO 换了PowerTCP的WINSOCK TOOL,情况有所好转 乱码没那么多了.........准备换vb.net,直接操作socket,程序还没做,不知道用.net接收会不会乱码。再有就哭了。

二、这个问题就比较初级了....接收到的文件流不能还原成文件..寒一个,


最后就是如何高效处理文件流, 我想来想去也就只有2种方法,一是都放在内存里,然后一起处理, 二是一边接收一边写文件。 但这2种方法都不尽如人意思

 

 


 

安卓开发中所遇到的一些问题及解决办法,不断更新中

Installation error: INSTALL_FAILED_INSUFFICIENT_STORAGE[字面意思:安装失败,不够贮存]
  • sz19900617
  • sz19900617
  • 2014-10-28 13:54:22
  • 1508

WEB开发过程中遇到的各种问题及解决方法总结

Q:The user specified as a definer ('root'@'%') does not exist A:只要给root用户再添加一个对全部host都有可以访问的权限  ...
  • happyflyingave
  • happyflyingave
  • 2014-05-06 08:59:22
  • 3833

自己平时记录的一些开发中遇到的问题以及解决方案

  • 2010年04月03日 12:32
  • 2.07MB
  • 下载

PHP项目发现并处理的问题

最近在做项目,在项目过程中遇到许多的问题,记录下,以便以后查阅问题一:在本机插网线的本地测试环境下面,测试发送邮件找回密码的功能一切正常,切换到另外一个wifi网络环境下面的不正常了,刚开始不知道是什...
  • qq_21405949
  • qq_21405949
  • 2016-08-28 15:05:23
  • 1123

项目中遇到的问题以及解决方案(Java后台)

有经验可以少走点弯路,所以走过的坑要记住,虽然我们不能两次踏入同一条河流,但我们可能多次掉入同一个坑! 1、最近项目做一个关于批量修改或者增加记录的功能,为了方便,就手动写一个saveOrUpdat...
  • qq_26564827
  • qq_26564827
  • 2018-01-27 17:13:01
  • 393

java开发过程中遇到的问题(持续更新)

1、java.lang.NoClassDefFoundError: org/apache/commons/logging/LogFactory  打算使用slf4j替换spring默认日志出现此错误 ...
  • learner198461
  • learner198461
  • 2016-08-04 13:44:49
  • 810

java项目中遇到的问题及解决办法002

1.JS错误。做项目时,很容易出现JS错误..JS因为没有明确错误提示,所以特别难找....
  • yechen2000
  • yechen2000
  • 2013-09-04 22:23:33
  • 741

项目管理中遇到的问题以及解决方案(网络转载)

问题一:缺乏项目管理系统培训 (相关对象:项目经理、管理人员)项目经理在项目管理方面的培训较少或不够系统。项目经理或管理人员不了解项目管理的知识体系和一些常用工具和方法,所以在实际工作中没有项目管理知...
  • paulxiang
  • paulxiang
  • 2011-12-18 17:58:24
  • 822

hadoop集群遇到的问题及其解决方法

  • 2016年02月29日 13:57
  • 227KB
  • 下载

web开发遇到的问题与解决思路

最近开发一个船舶项目,遇到的问题[问题][6]:一个船舶上物料有很多分类,分类下面还存在分类,分类下面还存在分类,有一些分类下面只存在2级关系分类,有的是3级,有的是4级,如果是最终的类别还要带具体物...
  • u013410747
  • u013410747
  • 2016-05-23 17:13:10
  • 888
收藏助手
不良信息举报
您举报文章:大文件上传浅谈,以及遇到的问题
举报原因:
原因补充:

(最多只允许输入30个字)