今天写一下关于多线程的爬虫,这次我们爬取的是斗图网站的表情包。
一. 思路:
1.对网站翻页链接进行分析,发现链接为:“http://www.doutula.com/article/list/?page=3”,我们只需要对数字“3”进行更改便可以到达想访问的网页界面。
2.创建一个文件夹,用来存储表情包文件夹。
3.通过分析获得每个表情包的链接,并将其封装到一个函数中,函数最终返回一个含有单个网页所有表情包链接的列表。
4.对单个表情包链接进行访问,获得每个图片的链接,并将图片下载,保存到名为网页title的文件夹中,将这段代码封装到一个函数中。
5.创建一个函数,将3和4创建的函数进行封装。
6.创建一个继承threading.Thread的子类。
7.创建线程列表,创建线程,激活线程。
二. 代码:
1 #!/ur/bin/nv python3 2 #*- coding: utf-8 -*- 3 4 #导入模块 5 import requests 6 import os 7 import threading 8 from bs4 import BeautifulSoup 9 import time 10 11 #创建函数,用来对单页网页进行获取链接,返回一个包含所有链接的列表。 12 #继承线程类 13 class New_thread(threading.Thread): 14 def __init__(self,han_name,han_can): 15 super().__init__() 16 self.han_name = han_name 17 self.han_can = han_can 18 def run(self): 19 self.han_name(*self.han_can) 20 #获取单页的所有斗图包链接 21 def dan_url_list(url,num): 22 headers = {'user-agent':'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.162 Safari/537.36'} 23 url_2 = url + str(num) 24 html = requests.get(url_2,headers=headers,timeout=30) 25 html.encoding = html.apparent_encoding 26 soup = BeautifulSoup(html.text,'html.parser') 27 url_lists = [] 28 a= soup.find_all(name='a',attrs={'class':'list-group-item random_list'}) 29 for x in a: 30 url_lists.append(x['href']) 31 return url_lists 32 33 #获得单页链接后,对单个斗图包的url进行获取每张图片的链接。 34 def img_url(url): 35 headers = { 36 'user-agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.162 Safari/537.36'} 37 html = requests.get(url,headers=headers,timeout=30) 38 html.encoding = html.apparent_encoding 39 soup = BeautifulSoup(html.text,'html.parser') 40 title = soup.find('title').text.split(' - ')[0] 41 print(title) 42 try: 43 os.mkdir('/home/admin/桌面/斗图/%s' % title) 44 except: 45 pass 46 list_1 = [] 47 s = soup.find_all(name='div',attrs={'class':"artile_des"}) 48 for x in s: 49 try: 50 b = x.find('img')['src'] 51 list_1.append(b) 52 except: 53 pass 54 for x in range(len(list_1)): 55 c = requests.get(list_1[x]).content 56 with open('/home/admin/桌面/斗图/%s/%s.jpg' % (title,x),'wb') as www: 57 www.write(c) 58 59 #处理单页数据,这个函数将获取到的包链接用img_url函数进行处理,将图片下载到制定文件夹中。 60 def down_all(url,num): 61 for x in dan_url_list(url,num): 62 img_url(x) 63 #创建多线程。 64 def main(page_num): 65 print('...........Start:%s...............' % time.ctime()) 66 thr_list = [] 67 url = 'http://www.doutula.com/article/list/?page=' 68 for x in range(1,page_num+1): 69 t = New_thread(down_all,(url,x)) 70 thr_list.append(t) 71 #启动线程 72 for x in thr_list: 73 x.start() 74 for x in thr_list: 75 x.join() 76 print('.........All Done: %s..............' % time.ctime()) 77 78 if __name__ == '__main__': 79 a = input('你想获取多少页表情包?') 80 main(int(a)) 81 82
谢谢大家的阅读。