以下载 斗图 表情包为例
#-----utf-8-----
import requests
from lxml import etree
from urllib import request
import re
import random
import threading
from queue import Queue
class Producter(threading.Thread):
headers = {
'User-Agent': 'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 \
(KHTML, like Gecko) Chrome/58.0.3029.110 Mobile Safari/537.36'
}
def __init__(self,page_queue,img_queue,*args,**kwargs): #自定义 __init__() 进行传参page_queue,img_queue
super(Producter,self).__init__(*args,**kwargs)
self.page_queue = page_queue
self.img_queue = img_queue
def run(self):
while True:
if self.page_queue.empty():
break
url = self.page_queue.get()
self.parse_page(url)
def parse_page(self,url):
response = requests.get(url,self.headers)
text = response.text
html = etree.HTML(text)
imgs = html.xpath("//div[@class='page-content text-center']//img[@class!='gif']")
for img in imgs:
alt = img.get('alt')
alt = re.sub(r'[\??\.。!!*@~]', '', alt)
if alt:
file_name = alt + '.jpg'
else:
alt = random.random()
file_name = str(alt)+'.jpg'
img_url = img.get('data-original')
self.img_queue.put((img_url,file_name))
class Consumer(threading.Thread):
def __init__(self, page_queue, img_queue, *args, **kwargs):
super(Consumer, self).__init__(*args, **kwargs)
self.page_queue = page_queue
self.img_queue = img_queue
def run(self):
while True: # 线程不能只下载一张图片就退出 要不断的执行,,直到,page_queue,img_queue 为空才停止
if self.img_queue.empty() and self.page_queue.empty():
break
img_url,file_name = self.img_queue.get() #因为img_queue队列传入的是元组形式的二个参数,此处可以分别赋值
request.urlretrieve(url=img_url, filename='imgs/' + file_name)
print(file_name + '下载完成!')
def main():
page_queue = Queue(500) #二个线程设置多些,没问题
img_queue = Queue(1000)
for i in range(100,151):
url = 'https://www.doutula.com/photo/list/?page={}'.format(i)
page_queue.put(url)
for i in range(5): #用for循环 产生5个生产者,和5个消费者线程。。
t = Producter(page_queue,img_queue)
t.start()
for i in range(5):
t = Consumer(page_queue,img_queue)
t.start()
if __name__ == '__main__':
main()
此处 应用的是:生产者和消费者模型。。
总体思路:
1,先用for 循环将所用的URL 传入到page_queue 队列中
2,定义 生产者类,解析所有的 img_url 和 图片的名称 并且put() 到img_queue 队列中去
3,定义消费者类,请求并下载图片(urllib.request.urlretrive(img_url))
学习心得:
1,怎样向类中引入自定义的队列参数?
答:依据视频中讲解,修改 __init__(self) 函数,
def __init__(self,page_queue,img_queue,*args,**kwargs): #引入的 page_queue,,img_queue 二个队列 super(Producter,self).__init__(*args,**kwargs) self.page_queue = page_queue self.img_queue = img_queue
2,线程类的创建?可以不使用类吗,比如用函数方法实现多线程?
class Producter(threading.Thread): class Consumer(threading.Thread):
3,def run(self) 是干什么的?
答: 定义run() 函数是让该类自动运行代码的,,类的创建是为了更好的封装代码,
run( )就相当于 主函数 main()
当run() 函数运行完毕,该类才能停止。
4,怎么调用 类内自定义的函数?
答: 应该在前面加一个 self