requests流数据分块下载方式并设置进度条显示

下载方式一

通常情况下我们下流数据文件，比如视频、图片…使用的普遍是下面这段代码(我自己就是)。

• 方式一

# coding=utf-8
import requests

url = "http://127.0.0.1:5001/video"
res = requests.get(url)
with open('电影下载.mp4', 'wb') as f:
    f.write(res.content)

上面这种方式下载的缺点是什么呢？我们来看个例子：我们下载个1.4G的电影视频，电影大小如图：

查看当前内存使用情况如图：

下面我们开始下载，执行上面的代码，我们发现内存在快速的被消耗，试想，如果我们启用多线程同时下载多个大的视频文件，是不是内存很快耗尽，导致机器卡死，宕机？

下载方式二

• 方式二

# coding=utf-8
import requests

url = "http://127.0.0.1:5001/video"
res = requests.get(url, stream=True)
with open('电影下载.mp4', 'wb') as f:
    for chunk in res.iter_content(1024*1024*5):
        f.write(chunk)
print('下载完成...')

我们启动下载，查看内存的变化，我们可以看到，磁盘在高速的读写数据，但是内存增长的变化不大，没有像之前的蹭蹭蹭往上长

分析代码含义

当下载大的文件的时候，他会立即开始下载文件并存放到内存当中，倘若文件过大会导致内存不足。
当把get函数的stream参数设置成True时，它不会立即开始下载，当你使用iter_content或iter_lines遍历内容或访问内容属性时才开始下载。需要注意一点：文件没有下载之前，它也需要保持连接。

• iter_content：一块一块的遍历要下载的内容
• iter_lines：一行一行的遍历要下载的内容
  使用上面两个函数下载大文件可以防止占用过多的内存，因为每次只下载小部分数据，数据的大小为bytes,我们可以设置块状内容的大小。

设置进度条加载

不同的终端中可能加载显示的方式会有点不一样，我们来看下实现方式

• tqdm安装
  pip install tqdm

• 实现代码

# coding=utf-8
import requests
from tqdm import tqdm


url = "http://127.0.0.1:5001/video"
res = requests.get(url, stream=True)
file_size = int(res.headers.get('Content-Length'))  # 获取视频的总大小
pbar = tqdm(total=file_size)  # 设置进度条的长度
with open('电影下载.mp4', 'wb') as f:
    for chunk in res.iter_content(1024*1024*2):
            f.write(chunk)
            pbar.set_description('正在下载中......')
            pbar.update(1024*1024*2)  # 更新进度条长度
    pbar.close()

• pycharm进度条显示
  
• Sublime Text 3中进度条显示