软件测试最全11 种方法教你用 Python 高效下载资源_python 高速资源，软件测试界面开发基础-CSDN博客

本文链接：https://blog.csdn.net/2401_84141229/article/details/138779780

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

在这里插入图片描述
首先，我们像以前一样使用requests模块的get方法，但是这一次，我们将把stream属性设置为True。

接着，我们在当前工作目录中创建一个名为PythonBook.pdf的文件，并打开它进行写入。

然后，我们指定每次要下载的块大小**。我们已经将其设置为1024字节，接着遍历每个块**，并在文件中写入这些块，直到块结束。

不漂亮吗?不要担心，稍后我们将显示一个下载过程的进度条。

5、下载多个文件(并行/批量下载)

要同时下载多个文件，请导入以下模块:
在这里插入图片描述
我们导入了os和time模块来检查下载文件需要多少时间。ThreadPool模块允许你使用池运行多个线程或进程。

让我们创建一个简单的函数，将响应分块发送到一个文件:
在这里插入图片描述
这个URL是一个二维数组，它指定了你要下载的页面的路径和URL。

就像在前一节中所做的那样，我们将这个URL传递给requests.get。最后，我们打开文件(URL中指定的路径)并写入页面内容。

现在，我们可以分别为每个URL调用这个函数，我们也可以同时为所有URL调用这个函数。让我们在for循环中分别为每个URL调用这个函数，注意计时器:
在这里插入图片描述
现在，使用以下代码行替换for循环：

运行该脚本。

6、使用进度条进行下载

进度条是clint模块的一个UI组件。输入以下命令来安装clint模块：
在这里插入图片描述
考虑以下代码:

这段代码中，我们首先导入了requests模块，然后，我们从clint.textui导入了进度组件。唯一的区别是在for循环中。在将内容写入文件时，我们使用了进度条模块的bar方法。

7、使用urllib下载网页

在本节中，我们将使用urllib下载一个网页。

urllib库是Python的标准库，因此你不需要安装它。

以下代码行可以轻松地下载一个网页:
在这里插入图片描述
在这里指定你想将文件保存为什么以及你想将它存储在哪里的URL。

在这段代码中，我们使用了urlretrieve方法并传递了文件的URL，以及保存文件的路径。文件扩展名将是.html。

8、通过代理下载

如果你需要使用代理下载你的文件，你可以使用urllib模块的ProxyHandler。请看以下代码：
在这里插入图片描述
在这段代码中，我们创建了代理对象，并通过调用urllib的build_opener方法来打开该代理，并传入该代理对象。然后，我们创建请求来获取页面。

此外，你还可以按照官方文档的介绍来使用requests模块:
在这里插入图片描述
你只需要导入requests模块并创建你的代理对象。然后，你就可以获取文件了。

9、使用urllib3

urllib3是urllib模块的改进版本。你可以使用pip下载并安装它:
在这里插入图片描述
我们将通过使用urllib3来获取一个网页并将它存储在一个文本文件中。

导入以下模块:
在这里插入图片描述
在处理文件时，我们使用了shutil模块。

现在，我们像这样来初始化URL字符串变量：
在这里插入图片描述
然后，我们使用了urllib3的PoolManager ，它会跟踪必要的连接池。

创建一个文件:

最后，我们发送一个GET请求来获取该URL并打开一个文件，接着将响应写入该文件:

10、使用Boto3从S3下载文件

要从Amazon S3下载文件，你可以使用Python boto3模块。

在开始之前，你需要使用pip安装awscli模块:
在这里插入图片描述
对于AWS配置，请运行以下命令：

现在，按以下命令输入你的详细信息：

要从Amazon S3下载文件，你需要导入boto3和botocore。Boto3是一个Amazon SDK，它允许Python访问Amazon web服务(如S3)。Botocore提供了与Amazon web服务进行交互的命令行服务。