Django实现下载100G的超大CSV文件

最新推荐文章于 2024-03-14 15:31:01 发布

Python_P叔

最新推荐文章于 2024-03-14 15:31:01 发布

阅读量933

点赞数 21

文章标签： django sqlite 数据库

本文链接：https://blog.csdn.net/Saki_Python/article/details/135670325

版权

本文介绍了如何使用Django的StreamingHttpResponse处理大数据集，避免内存不足问题。通过创建StreamingHttpResponse对象和定制的生成器函数，实现大型CSV文件的流传输，降低内存使用，提高效率。

摘要由CSDN通过智能技术生成

在处理大数据集的时候，我们经常遇到的一个问题是内存使用。当我们试图生成一个大型文件，如 CSV，并尝试将其全部加载到内存中时，可能会遇到内存不足的问题。幸运的是，Django 提供了一个解决方案：流传输。本文将详细的讲述如何利用 Django 进行大型 CSV 文件的流传输。

流传输的基础概念

流传输是一种技术，允许你一次发送一小部分响应，而不是一次性加载整个响应到内存中。这种技术对于服务大文件，如图像，音频和大型数据集非常有用。

创建 Django StreamingHttpResponse 对象

StreamingHttpResponse 对象允许我们将响应内容按部分，或者说“流”的形式发送给客户端。试看以下代码：

from django.http import StreamingHttpResponse

def big_file_download(request):
    def file_iterator(file_name, chunk_size=512):
        with open(file_name, "rb") as f:
            while True:
                c = f.read(chunk_size)
                if c:
                    yield c
                else:
                    break
    response =