python批量下载网页文件,python批量下载文件

gpt886

于 2024-01-04 12:33:48 发布

阅读量1k

点赞数 21

文章标签： java

本文链接：https://blog.csdn.net/2301_79533350/article/details/135383827

版权

本文汇总了Python批量下载文件的各种方法，包括下载图片、处理重定向、分块下载大文件、并行下载和利用urllib获取HTML页面。通过示例展示了如何使用requests和multiprocessing加速下载，以及利用you-get工具下载视频。

摘要由CSDN通过智能技术生成

大家好，本文将围绕python下载文件到指定文件夹展开说明，python批量下载网页文件是一个很多人都想弄明白的事情，想搞清楚python批量下载文件需要先了解以下几个事情。

压缩文件可以直接放到下载器里面下载的
you-get 连接下载任意文件重点

用python下载文件的若干种方法汇总

写文章

用python下载文件的若干种方法汇总

zhangqibot 发表于 MeteoAI订阅

427

在这篇文章中：

1. 下载图片
2. 下载重定向的文件
3. 分块下载大文件
4. 并行下载多文件
5. 使用urllib获取html页面
6. python下载视频的神器
7. 举个例子

在日常科研或者工作中，我们免不了要批量从网上下载一些资料。要是手工一个个去下载，浪费时间又让鼠标折寿，好不容易点完了发现手指都麻木了不会c语言也可以学python。

这种重复性的批量作业我们应该交给python小弟去帮我们搞定，这篇文章汇总了用python下载文件的若干种方法，快点学起来吧。

1. 下载图片

import requests
url = 'https://www.python.org/static/img/python-logo@2x.png'
myfile = requests.get(url)
open('PythonImage.png', 'wb').write(myfile.content)

用wget:

import wget
url = "https://www.python.org/static/img/python-logo@2x.png"
wget.download(url, 'pythonLogo.png')

requests是python实现的简单易用的HTTP库。requests[1]标准模板：

import requests
url="******"
try:
    r=requests.get(url)
    r.raise_for_status()  #如果不是200，产生异常requests.HTTPError
    r.encoding=r.apparent_encoding
    print(r.text)
except:
    print("爬取失败...")