Python基于django提供大文件下载接口及Python基于tornado下载大文件

Django下载大文件接口

代码

我是基于django的rest接口插件提供的下载文件接口，除了需要安装django之外还需要安装djangorestframework库

不多说，下面直接贴代码

#views.py

from rest_framework.permissions import AllowAny
from rest_framework.views import APIView
from django.http import StreamingHttpResponse

class DonwloadView(APIView):
    permission_classes = (AllowAny,)

    def get(self, request, format=None):

        def file_iterator(fn, chunk_size=512):
            while True:
                c = fn.read(chunk_size)
                if c:
                    yield c
                else:
                    break

        fn = open('test.zip', 'rb')
        response = StreamingHttpResponse(file_iterator(fn))
        response['Content-Type'] = 'application/octet-stream'
        response['Content-Disposition'] = 'attachment;filename="test.zip"'

        return response

# urls.py
from django.conf.urls import url
from rest_framework.urlpatterns import format_suffix_patterns

from . import views

urlpatterns = [
    url(r'^download/$', views.DonwloadView.as_view(), name='download'),
]

urlpatterns = format_suffix_patterns(urlpatterns)

这样子，一个基于django的大文件下载接口就提供完成，我这边是另一个系统使用的是tornado框架，所以下面是使用tornado框架自带的一些库来下载文件。

注意事项

这里使用的是django的StreamingHttpResponse，所以读文件的时候一定要使用’rb’，否则对于一些二进制文件可能会有问题（我这里没有测试）

Tronado下载大文件

代码

使用tornado的库下载大文件时遇到很多问题，我先将代码贴出来，然后根据代码再将我遇到的问题贴出来分享一下，大家使用时别再走入误区，也知道问题原因。

from tornado import httputil, httpclient

fn = open("test.zip", 'ab')

def _streaming_callback(data):
    fn.write(data)

http_client = httpclient.HTTPClient(max_body_size=107374182400)

request = httpclient.HTTPRequest(download_url,
            streaming_callback=_streaming_callback,
            connect_timeout=172800.0,  
            request_timeout=172800.0
)

http_client.fetch(request)

注意事项

1. 先从http_client.fetch开始吧，刚开始没有使用httpclient.HTTPRequest，直接使用的是django提供下载接口地址url[http://localhost/download]，这个时候小文件是可以正常下载的，但是对于大的文件是会抛出599异常的(刚开时response=http_client.fetch(url)，直接fn.write(response.body))，后来经过查找官网说是需要使用HTTPRequest来处理的。
2. 上条提到使用HTTPRequest，并且发现HTTPRequest的参数streaming_callback，这是一个可调用函数，每次请求中接收到的数据块都会丢给这个函数，并且使用此参数之后，response.body和response.buffer最终都将会是None。然后开始在命令行敲代码进行测试，惊喜的发现，下载大文件时能够输出了文件内容了（刚开始在streaming_callback中，只是print(data)，并且一两秒接着就停止了），以为问题已解决，遂部署到代码中实际应用，又出现问题，这次抛出的599 time out
3. 接着上条继续，time out 那肯定就是超时了，然后继续查找HTTPRequest的参数，发现两个超时的参数connect_timeout和request_timeout，默认是20秒，修改成2天也就是172800.0（这里我没有去测试到底是哪个超时的，所以都给配置成大一些。），然后部署代码继续测试，但是可怕的问题继续出现，这次不超时的，但是又出现了第一次的 599 Connect Closed，这次是真的头大了，最后在一个同时的提示下，是否由上传大小的限制，经过不懈努力，终于在httpclient.HTTPClient中发现了最大限制
4. 上条提到的最大限制由两个max_buffer_size/max_body_size,max_buffer_size是指一次读入内存中的最大字节，默认是100M，max_body_size默认是max_buffer_size的大小，是客户端可接收的响应body的大小。不使用streaming_callback时，取两者中最小的值。如果使用streaming_callback的话，那就是max_body_size生效，所以最终的解决方案就是我在HTTPClient对象中增加了参数max_body_size=107374182400，最大值为10G，至此这个问题是真正的解决了。