python多线程爬取_python多线程爬取图片实例

今天试着把前面那个爬取图片的爬虫改成了多线程爬取，虽然最后可以爬取存储图片了，但仍存在一些问题。网址还是那个网址https://www.quanjing.com/category/1286521/1.html，

下面是代码，难点直接在后面注释了。

# 多线程爬取，每个线程爬取一个页面

import requests

import threading

import queue

from bs4 import BeautifulSoup

import re

import time

string = "https://www.quanjing.com/category/1286521/"

pipei = re.compile('

class spiders(threading.Thread):

name = 1　　# 累加变量，用来给每张图片命名

def __init__(self, queue, page):

threading.Thread.__init__(self)

self.queue = queue

self.page = page

def run(self): # 定义线程开始函数

while not self.queue.empty():

url = self.queue.get_nowait()

# print(url)

self.request_url(url)

def request_url(self, url): # 爬取并存储每一页的图片

html = requests.get(url=url).text

soup = BeautifulSoup(html, 'lxml')

li = str(soup.find_all(attrs={'class': "gallery_list"})) # 根据class标签属性找出所有的图片链接

lianjies = re.findall(pipei, li) # 正则匹配出一页中每一个图片的链接

for lianjie in lianjies:

result = requests.get(url=lianjie).content # 获取图片的二进制数据

# 以二进制的方式存储图片

with open('E:\py project\quanjingwang\image{0}\{1}.jpg'.format(self.page, self.name), 'ab+') as f:

f.write(result)

print("第{0}张存储完成".format(self.name))

self.name += 1 # 命名

# 创建多线程函数

def main():

url_queue = queue.Queue()

for i in range(1, 11):

url = string + str(i) + ".html"

url_queue.put(url)

thread_list = [] # 线程列表

thread_counter = 5 # 线程数量，根据线程数量在相同目录下创建image0-4五个文件夹，用于存储对应线程的爬取结果，image0对应线程1

for i in range(thread_counter):

t = spiders(url_queue, i)

thread_list.append(t)

for t in thread_list:

t.start()

# for t in thread_list:

# print("线程id:%d" % t.ident) # 获取线程id

# print("线程name：%s" % t.getName()) # 获取线程名

for t in thread_list:

t.join()

if __name__ == '__main__':

start_time = time.time()

main()

print("五线程用时：%f" % (time.time() - start_time))

刚开始，我想把爬取的所有图片都放在一个文件夹了，但却由于命名的问题，总是被覆盖，每次都只有一页的图片，最后用类中的静态变量解决（name）。不过就在刚在突然想到完全可以换一种命名方式解决，比如每张图片都有一个自己的标题，用标题命名不但解决的这个问题，还更加直观、利用查找。（自己tcl。。。若文章有错误，欢迎大家随之指正。。。）