Python爬虫实例(3)-用BeautifulSoup爬取多个可翻页网页上的多张照片

本例解决的问题是:对于可以翻页的网站(例如:百度贴吧、豆瓣照片、微博等的翻页),把翻页的网页上的所有照片,都爬取到本地。

以百度贴吧为例,我要爬取https://tieba.baidu.com/p/4064957036?pn=1这个帖子里面所有的美女照片,就要从第1页到第19页。如果按照上一篇文章讲的,那我就要对19个网页使用19次爬虫,实在太麻烦。这次,我们只需要用1次就好!!

代码如下所示,亲测可用。运行环境如之前所述。

# -*- coding: utf-8 -*- 

#导入第三方包和模块
import requests
from bs4 import BeautifulSoup
import os

#在本地新建一个文件夹,命名为test_img,用以保存下载的图片
folder = 'test_img'
if not os.path.exists(folder):
    os.makedirs(folder)
    
#定义一个函数,用以下载图片
def download(url):
    response = requests.get(url)
    name = url.split('/')[-1]
    f = open(folder + '/' + name + '.jpg', 'wb')
    f.write(response.content)
    f.close()

header = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'}

#网页可以翻19次,相当于改变url,循环19次;然后对每一个页面都执行‘获取src’和‘下载图片’的操作
for i in range(1,20):
    url_i = 'https://tieba.baidu.com/p/4064957036?pn=' + str(i)
    response_i = requests.get(url_i, headers = header)
    print(url_i)
    
    #获取第i个页面的url、response类、html、soup,以及该页面所有图片对应的src
    html_i = response_i.text
    soup_i = BeautifulSoup(html_i, 'html.parser')
    imgs_i = soup_i.find_all('img', attrs = {'class':'BDE_Image'})
    
    for img in imgs_i:
        img_src = img.get('src')
        print(img_src)
        download(img_src)  
print('OK')

本实例的技术难点在于:
1、用for循环表示这个可翻页帖子的19个url;
2、range()表示有序数组;
3、str()强制将整形转化为字符串;
4、温习BeautifulSoup模块中find_all(‘img’, {‘class’: ‘attrs’})与soup.get(‘src’),来获取所有图片的src的方法。

万维网上的网页千千万,爬取的方法,本质都是这样;然而,还是需要大量例子的练习,很多小问题也需要在实践中摸索。例如:
1、我想在本地建立一个二级文件夹,怎么通过Python来实现;
2、我想把下载的图片依次命名为1,2,3,…n,怎么实现;
3、当知乎或者微博,需要登录个人账号,才能登录爬取,那么怎么用爬虫模拟登录;
4、爬取的图片达到几千几万张时,怎么使用分布式爬虫来加快爬取速度;
5、当爬取的数据太大了,达到TB级别时,如何使用excel、数据库来存储爬取的数据;

不要紧,用爬虫去探索更多的妹子吧。

©️2020 CSDN 皮肤主题: 黑客帝国 设计师:上身试试 返回首页