Django下载大文件接口
代码
我是基于django的rest接口插件提供的下载文件接口,除了需要安装django之外还需要安装djangorestframework库
不多说,下面直接贴代码
#views.py
from rest_framework.permissions import AllowAny
from rest_framework.views import APIView
from django.http import StreamingHttpResponse
class DonwloadView(APIView):
permission_classes = (AllowAny,)
def get(self, request, format=None):
def file_iterator(fn, chunk_size=512):
while True:
c = fn.read(chunk_size)
if c:
yield c
else:
break
fn = open('test.zip', 'rb')
response = StreamingHttpResponse(file_iterator(fn))
response['Content-Type'] = 'application/octet-stream'
response['Content-Disposition'] = 'attachment;filename="test.zip"'
return response
# urls.py
from django.conf.urls import url
from rest_framework.urlpatterns import format_suffix_patterns
from . import views
urlpatterns = [
url(r'^download/$', views.DonwloadView.as_view(), name='download'),
]
urlpatterns = format_suffix_patterns(urlpatterns)
这样子,一个基于django的大文件下载接口就提供完成,我这边是另一个系统使用的是tornado框架,所以下面是使用tornado框架自带的一些库来下载文件。
注意事项
这里使用的是django的StreamingHttpResponse,所以读文件的时候一定要使用’rb’,否则对于一些二进制文件可能会有问题(我这里没有测试)
Tronado下载大文件
代码
使用tornado的库下载大文件时遇到很多问题,我先将代码贴出来,然后根据代码再将我遇到的问题贴出来分享一下,大家使用时别再走入误区,也知道问题原因。
from tornado import httputil, httpclient
fn = open("test.zip", 'ab')
def _streaming_callback(data):
fn.write(data)
http_client = httpclient.HTTPClient(max_body_size=107374182400)
request = httpclient.HTTPRequest(download_url,
streaming_callback=_streaming_callback,
connect_timeout=172800.0,
request_timeout=172800.0
)
http_client.fetch(request)
注意事项
- 先从http_client.fetch开始吧,刚开始没有使用httpclient.HTTPRequest,直接使用的是django提供下载接口地址url[http://localhost/download],这个时候小文件是可以正常下载的,但是对于大的文件是会抛出599异常的(刚开时response=http_client.fetch(url),直接fn.write(response.body)),后来经过查找官网说是需要使用HTTPRequest来处理的。
- 上条提到使用HTTPRequest,并且发现HTTPRequest的参数streaming_callback,这是一个可调用函数,每次请求中接收到的数据块都会丢给这个函数,并且使用此参数之后,response.body和response.buffer最终都将会是None。然后开始在命令行敲代码进行测试,惊喜的发现,下载大文件时能够输出了文件内容了(刚开始在streaming_callback中,只是print(data),并且一两秒接着就停止了),以为问题已解决,遂部署到代码中实际应用,又出现问题,这次抛出的599 time out
- 接着上条继续,time out 那肯定就是超时了,然后继续查找HTTPRequest的参数,发现两个超时的参数connect_timeout和request_timeout,默认是20秒,修改成2天也就是172800.0(这里我没有去测试到底是哪个超时的,所以都给配置成大一些。),然后部署代码继续测试,但是可怕的问题继续出现,这次不超时的,但是又出现了第一次的 599 Connect Closed,这次是真的头大了,最后在一个同时的提示下,是否由上传大小的限制,经过不懈努力,终于在httpclient.HTTPClient中发现了最大限制
- 上条提到的最大限制由两个max_buffer_size/max_body_size,max_buffer_size是指一次读入内存中的最大字节,默认是100M,max_body_size默认是max_buffer_size的大小,是客户端可接收的响应body的大小。不使用streaming_callback时,取两者中最小的值。如果使用streaming_callback的话,那就是max_body_size生效,所以最终的解决方案就是我在HTTPClient对象中增加了参数max_body_size=107374182400,最大值为10G,至此这个问题是真正的解决了。