线程池和进程池（10）——批量获取图片（1）

WHJ226

已于 2022-06-05 11:08:38 修改

阅读量359

点赞数 1

分类专栏：爬虫入门文章标签： python 爬虫 selenium

于 2022-06-05 11:03:13 首次发布

本文链接：https://blog.csdn.net/WHJ226/article/details/125104215

版权

本文介绍了如何使用多线程和多进程来批量获取动态网页中的图片，针对XPath返回空列表的问题，指出可能原因是动态内容无法通过requests获取，推荐使用Selenium进行爬取。并提供了相关反爬系列教程链接。

摘要由CSDN通过智能技术生成

1 多线程和多进程

2 XPath返回空列表问题

1 多线程和多进程

多进程和多线程是实现多任务常用的两种方式。

线程和进程（9）_WHJ226的博客-CSDN博客

该篇博文中我们应用以下方式获取刘亦菲的两张图片，但是两张图片对我们来说是完全不够的。

import requests
from threading import Thread
def func(name):
    body #函数体，可以是爬虫，该函数类似于请求——响应——保存数据

if __name__ == "__main__":
    #线程1
    t1 = Thread(target=func,args=(name,))#传递参数必须是元组
    t1.start()
    #线程2
    t2 = Thread(target=func, args=(name,))
    t2.start()

因此，我们需要改进方法。

例如：

#线程池
from concurrent.futures import ThreadPoolExecutor

def fn(name):
    for i in range(1000):
        print(name,i)

if __name__ == "__main__":
    # 创建一个由50个线程组成的线程池
    with ThreadPoolExecu