爬取百度图片---可以下载10000+张,多线程更快,python实现

本文详细介绍了如何使用Python进行大规模图片爬取,通过多线程技术提高速度,实现从百度图片下载超过10000张图片的流程,涵盖了网络请求、解析HTML、文件保存等关键步骤。
摘要由CSDN通过智能技术生成
from pprint import pprint
import re
import requests
import json
import time
import threading

# 要运行该爬虫,在命令行输入如下命令即可:
# 'python 百度图片cmd.py -k "张伯芝"  -p 2 -d "pic_dir"'
# 'python 百度图片cmd.py -k "搜索关键词"  -p 多少页应该是整数 -d "图片保存在哪里"'

# 1.加入了多线程下载速度更快
# 2.支持命令行运行,运行更方便
# 3.设置了自动翻页,下载数据更多。

class myThread_pic(threading.Thread):
	"""docstring for myThead"""
	def __init__(self, urllist,data_folder_name,non_repetitive_url,lock):
		super(myThread_pic, self).__init__()
		self.urllist = urllist
		self.data_folder_name=data_folder_name
		self.non_repetitive_url=non_repetitive_url
		self.lock=lock
	def run(self,):
		global num
		for i in self.urllist :
			print('开始下载*******',num)
			if i not in self.non_repetitive_url:
				resp1=requests.get(i).content
				with open(self.data_folder_name+r'/' +str(time.time())+
  • 1
    点赞
  • 12
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
以下是Python多线程爬取百度图片的示例代码: ```python import requests import os import re from queue import Queue from threading import Thread class BaiduImageSpider: def __init__(self, keyword, save_path): self.keyword = keyword self.save_path = save_path self.img_urls = Queue() # 图片链接队列 self.headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'} self.page_url = 'https://image.baidu.com/search/index?tn=baiduimage&word={}&pn={}&ie=utf-8' def download_img(self): while True: img_url = self.img_urls.get() try: img_data = requests.get(img_url, headers=self.headers, timeout=10).content except Exception as e: print('下载图片出错:', e) else: file_name = os.path.join(self.save_path, re.split('[/.]', img_url)[-2] + '.jpg') with open(file_name, 'wb') as f: f.write(img_data) print('下载图片:', file_name) finally: self.img_urls.task_done() # 标记任务完成 def get_img_urls(self, page_num): try: page_url = self.page_url.format(self.keyword, page_num * 30) html = requests.get(page_url, headers=self.headers, timeout=10).text except Exception as e: print('获取图片链接出错:', e) return [] else: img_urls = re.findall('"thumbURL":"(.*?)"', html) return img_urls def start(self, thread_num=10, page_num=10): if not os.path.exists(self.save_path): os.makedirs(self.save_path) # 创建多个线程用于下载图片 for i in range(thread_num): t = Thread(target=self.download_img) t.daemon = True # 设置为守护线程 t.start() # 获取图片链接并加入队列 for i in range(page_num): img_urls = self.get_img_urls(i) for img_url in img_urls: self.img_urls.put(img_url) # 等待队列中的任务完成 self.img_urls.join() if __name__ == '__main__': spider = BaiduImageSpider('猫', 'images') spider.start(thread_num=10, page_num=10) ``` 上述代码中,`BaiduImageSpider` 类用于爬取百度图片,其中 `download_img()` 方法用于下载图片,`get_img_urls()` 方法用于获取图片链接,`start()` 方法用于启动多线程下载图片。在 `start()` 方法中,首先创建多个线程用于下载图片,然后获取图片链接并加入队列,最后等待队列中的任务完成。其中,`Queue` 类用于实现线程间的通信,`Thread` 类用于创建线程。在 `download_img()` 方法中,使用 `requests` 库下载图片,并将图片保存到指定路径,使用队列的 `task_done()` 方法标记任务完成。在 `get_img_urls()` 方法中,使用 `requests` 库获取页面内容,并使用正则表达式获取图片链接。在 `start()` 方法中,使用 `os` 库创建保存图片的目录,使用参数 `thread_num` 和 `page_num` 分别设置线程数和下载页数。最后,通过调用 `start()` 方法启动多线程下载图片
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值