Nginx的X-Accel-Redirect实现大文件下载

青霄

已于 2022-11-03 14:37:20 修改

阅读量1.7k

点赞数

分类专栏： web框架文件操作 nginx 文章标签：大文件下载 X-Sendfile

于 2022-11-03 14:35:08 首次发布

本文链接：https://blog.csdn.net/leiwuhen92/article/details/127669646

版权

nginx 同时被 3 个专栏收录

25 篇文章 1 订阅

订阅专栏

web框架

14 篇文章 0 订阅

订阅专栏

文件操作

3 篇文章 0 订阅

订阅专栏

一、文件下载的几种方式

1、直接给出下载地址，使用静态文件服务器nginx下载。任何人都可以下载，无法控制用户的权限。

2、后端流式读取文件内容，设置header后疯狂输出

django文档中提到，可以向HttpResponse传递一个迭代器，流式的向客户端传递数据，如下：

def read_file(filename, buf_size=8192):
    with open(filename, "rb") as f:
        while True:
            content = f.read(buf_size)
            if content:
                yield content
            else:
                break

def big_file_download(request):
    //可做过滤、权限控制等操作
    filename = "filename"
    response = HttpResponse(read_file(filename))
    response['content_type'] = 'application/octet-stream' # 设置头信息，告诉浏览器这是个文件
    response['Content-Disposition'] = 'attachment; filename=%s' % filename
    return response

这样做可以实现权限的控制，但这个过程需要后端进程将文件读取到内存中然后再发给用户，会造成很大的资源开销。如果你文件较大，可能会超时，并且会占用比较大的内存，当用户下载量很大时有可能造成程序的崩溃。

3、后端过滤与权限控制，再发出指令给web服务器来传输静态文件

Django（做权限判断）+nginx(配合X-Accel-Redirect机制下载文件)

优点：传输快、服务器IO低

缺点：需要nginx配置权限，另外后端无法知道传完了没有，没有后续操作空间

二、什么是 X-Sendfile？

X-Sendfile是一种将文件下载请求由后端应用转交给前端web服务器处理的机制，它可以消除后端程序既要读文件又要处理发送的压力，从而显著提高服务器效率，特别是处理大文件下载的情形下。

X-Sendfile 通过一个特定的 header 来实现：在 X-Sendfile 头中指定一个文件的地址来通告前端 web 服务器。当 web 服务器检测到后端发送的这个 header 后，它将忽略后端的其他输出，而使用自身的组件（包括缓存头和断点重连等优化）机制将文件发送给用户。

不过，在使用 X-Sendfile 之前，我们必须明白这并不是一个标准特性，在默认情况下它是被大多数 web 服务器禁用的。而不同的 web 服务器的实现也不一样，包括规定了不同的 X-Sendfile 头格式。如果配置失当，用户可能下载到 0 字节的文件。

使用X-Sendfile的缺点是你失去对文件传输机制的控制，后台不知道文件是否下载成功。

三、X-Sendfile在nginx中的应用

Nginx 默认支持该特性 ，不需要加载额外的模块。只是实现有些不同，需要发送的 HTTP 头为 X-Accel-Redirect。

X-Accel-Redirect：

这个功能允许你在后端处理权限，日志或任何你想干的，Nginx提供内容服务给终端用户从重定向后的路径，因此可以释放后端去处理其他请求（直接由Nginx提供IO，而不是后端服务）。这个功能类似 X-Sendfile 。

需要在nginx配置：

# Will serve /var/www/protected_files/myfile.tar.gz
# When passed URI /protected_files/myfile.tar.gz
location /protected_files {
    internal;     # internal 表示这个路径只能在 Nginx 内部访问，不能用浏览器直接访问防止未授权的下载
    root /var/www;
}

当向django view函数发起request时，django负责对用户权限进行判断或者做些其它事情，然后向nginx转发url为/protected_files/filename的请求，nginx服务器负责文件/var/www/protected_files/filename的下载

response['X-Accel-Redirect']='/protected_files/%s' % filename

四、案例

Django（做权限判断）+nginx(配合X-Accel-Redirect机制下载文件) 代码实现：

文件07a949d969cea243f8755f72d741ae69729e2fa1.img存放在/var/www/html/download/目录下
Nginx监听8099端口。
Nginx代理后端服务的8000端口。
设置/download路径为internal，指定具体文件存储的磁盘位置。
后端服务接收到文件下载请求，处理业务逻辑后X-Accel-Redirect到/download路径。
Nginx收到后端返回信息中的X-Accel-Redirect请求头，接管文件下载或显示任务。
请求路径：http://192.168.11.135:8099/image/download/?filename=07a949d969cea243f8755f72d741ae69729e2fa1.img

Nginx配置：


server {
    listen  8099;
    server_name  192.168.11.135;
    location /download {
        internal;  # internal 表示这个路径只能在 Nginx 内部访问，不能用浏览器直接访问防止未授权的下载
        root  /var/www/html; 
    }
    
    location / {
        client_max_body_size 2048M;
        proxy_pass http://192.168.11.135:8000;
        proxy_set_header Host $host:$server_port;
        proxy_set_header        X-Real-IP $remote_addr;
        proxy_set_header        X-Forwarded-For $proxy_add_x_forwarded_for;
        proxy_set_header        X-Forwarded-Proto $scheme;
    }
}

python代码：

@require_GET
def download(request):
    filename = request.GET.get("filename")
    # 统计
    # 鉴权
    # 判断Referer

    # 通过X-Accel-Redirect返回在nginx中的实际下载地址
    response = HttpResponse()
    response['X-Accel-Redirect'] = '/download/%s' % filename
    response['Content_Type'] = 'application/octet-stream'
    response["Content-Disposition"] = "attachment; filename={0}".format(filename)

    # response["X-Accel-Limit-Rate"] = "1024"  # 限速，单位字节，默认不限
    # response["X-Accel-Buffering"] = "yes"  # 是否使用Nginx缓存，默认yes
    return response

如果直接访问路径：http://192.168.11.135:8099/download/07a949d969cea243f8755f72d741ae69729e2fa1.img，就会报404错误，因为internal;