从小白开始学python-爬虫六 实战篇（使用requests，beautiful soup，selenium爬取批量图片）

爬取一个页面上的多张图片

这里我们使用两个库：requests和Beautiful Soup库

基本思路如下：
1.首先我们找到图片所在的网页
（注意这里的网页并不是实际图片存在的网址）
2.然后由requests库发送请求，返回我们需要的content
3.我们使用BS解析我们得到的网页，抓取所有图片的地址添加到列表中
4.最后我们设置好图片的格式，将列表中的图片地址传入，就可以批量下载图片啦

实战代码

# -*- coding:UTF-8 -*-
import requests
from bs4 import BeautifulSoup

url = 'http://www.win4000.com/zt/yingxionglianmeng.html' # 目标地址
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) '
                  'Chrome/70.0.3538.102 Safari/537.36 Edge/18.18362'}
# 构造头
img = [] # 用于存储图片真实地址的列表


def get_url(url):
    """获取网页内容"""
    req = requests.get(url, headers=headers)
    req.raise_for_status()
    req.encoding = 'utf-8'
    # print(req.status_code) 打印200说明获取成功
    return req.content


def get_html(html):
    """查找所有有关图片得地址添加入列表中"""
    soup = BeautifulSoup(html, 'html.parser')
    # html_ = soup.find('div', attrs={'class': 'tit clearfix'})
    html_ = soup.find_all('img')
    # for each in html_:  # each的属性为Tag
    # img.append(str(each['src']))
    for item in html_:    # 这里的查找有一点小麻烦，因网站而异
        attrs = item.attrs
        for attr in attrs:
            if attr == 'data-original':
                print(item[attr])
                img.append(str(item[attr]))


def get_png(list):
    num = 1
    for item in list: # 循环将图片下载
        item_ = get_url(item)
        print('下载第' + str(num) + '张图片')
        num = num + 1
        with open(str(num-1) + '.jpg', 'wb') as f:
            f.write(item_)


get_html(get_url(url))
get_png(img)
print('下载完成')

输出结果：

http://pic1.win4000.com/wallpaper/2020-08-12/5f33b09e20c2c_270_185.jpg
http://pic1.win4000.com/wallpaper/2020-08-12/5f33ae3f6424d_270_185.jpg
……
http://pic1.win4000.com/tj/2020-07-20/5f1559a679864.jpg
http://pic1.win4000.com/tj/2020-07-27/5f1e36eedde6c.jpg
下载第1张图片
下载第2张图片
下载第3张图片
下载第4张图片
下载第5张图片
……
下载第25张图片
下载第26张图片
下载第27张图片
下载第28张图片
下载第29张图片
下载完成

最后我们就可以在这个.py文件的所在文件夹中看到这些图片啦：

小伙伴就可以根据自己的需要批量爬取图片啦

爬取多个页面上的多张图片

但是这里有一个问题，在很多图片网站中，图片是一张一张翻页加载的，我们不能在一个网页中找到我们所需要的图片该怎么办呢？

这里有两种方法：

1.我们通过构造相关网页的地址（存储在列表中）（一般是有规律的）再循环将地址输入，获取每个网页上存在的图片的真实地址进行下载

2.我们使用selenium真实的加载一个网页，然后使用它来实现自动翻页，帮助我们获得每个图片的真实地址进行下载

我们先使用第一种方法实现翻页下载

方法一：构造网址法

基本思路跟上面的一样，只是我们需要加入一个构造网址的函数
我们可以发现这些连续图片的网址是有规律的
会在最后给这些图片加上一个编号，所以我们只需要构造最后一部分即可

import requests
from bs4 import BeautifulSoup

url = 'http://www.win4000.com/wallpaper_detail_165116_'
img = []
http = []
num = 2


def get_url(url):
    """获取网址解析"""
    req = requests.get(url)
    return req.content


def get_img(url):
    """获取图片的地址"""
    soup = BeautifulSoup(get_url(url), 'html.parser')
    html = soup.find('div', attrs={'class': 'pic-meinv'}).find_next('img')
    html_ = html['src']
    img.append(str(html_))

# 新增构造地址函数
def get_http(url, num):
    """获取图片所在网页的地址"""
    http.append(url + '.html') # 第一个地址没有加数字
    while num <= 8: # 加了个图片下载的限制防止函数陷入死循环
        http.append(url + str(num) + '.html') # 在末尾添加数字即可完成构造
        num = num + 1
    for each in http:
        print(each)


def download_img(img, http):
    """下载图片"""
    for each in http:
        get_img(each)
    count = 29
    for item in img:
        with open(str(count) + '.png', 'wb') as f:
            f.write(get_url(item))
        count = count + 1
        print('下载完第'+str(count)+'张图片')


get_http(url, num)
download_img(img, http)
print('下载完成')

输出结果：

http://www.win4000.com/wallpaper_detail_165116_.html
http://www.win4000.com/wallpaper_detail_165116_2.html
http://www.win4000.com/wallpaper_detail_165116_3.html
http://www.win4000.com/wallpaper_detail_165116_4.html
http://www.win4000.com/wallpaper_detail_165116_5.html
http://www.win4000.com/wallpaper_detail_165116_6.html
http://www.win4000.com/wallpaper_detail_165116_7.html
http://www.win4000.com/wallpaper_detail_165116_8.html
下载完第30张图片
下载完第31张图片
下载完第32张图片
下载完第33张图片
下载完第34张图片
下载完第35张图片
下载完第36张图片
下载完第37张图片
下载完成

同样我们也可以看到这些下载好的图片已经在我们的文件夹中啦！

方法二：selenium自动翻页法

基本思路：
我们需要四个函数：
get_url 为我们下载图片提供数据来源
catch_http 使用selenium实现自动翻页来动态加载出每个图片的实际网址
get_img 将我们获得网址存入列表中
download_img 将列表中的地址取出完成下载

下面是实例代码展示：

import requests
from selenium import webdriver

url = 'http://www.win4000.com/wallpaper_detail_165116_'
headers = {

    'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_2) AppleWebKit/537.36 (KHTML, like Gecko) '
                  'Chrome/47.0.2526.80 Safari/537.36 '

}
img = [] # 存储图片的实际地址
num = 0


def get_url(url):
    """获取网页内容"""
    req = requests.get(url, headers=headers)
    req.raise_for_status()
    req.encoding = 'utf-8'
    # print(req.status_code)  # 打印200说明获取成功
    return req.content # 返回下载图片的内容


def catch_http():
    global num
    driver = webdriver.Chrome() # 启动webdriver
    driver.implicitly_wait(10)
    driver.get(url + '.html')
    while num < 8: # 提供限制以防函数陷入无限循环
        get_img(driver) # 调用函数获得图片地址存储列表
        driver.implicitly_wait(5)
        num = num + 1
        tar = driver.find_element_by_link_text('下一张')
        # print(tar.get_attribute('href'))
        tar.click() # 单击文本为下一张的元素，实现翻页


def get_img(driver):
    """获取图片的地址"""
    img_tar = driver.find_element_by_class_name('pic-large')
    tar = img_tar.get_attribute('src') # 获取属性内容
    # print(str(tar))
    img.append(str(tar))  # 在图片列表中添加图片地址


def download_img(img):
    """下载图片"""
    count = 1
    for item in img:
        with open(str(count) + '.png', 'wb') as f:
            f.write(get_url(item))
        print('下载完第' + str(count) + '张图片')
        count += 1


catch_http()
download_img(img)
print('下载完成')

实际输出：

下载完第1张图片
下载完第2张图片
下载完第3张图片
下载完第4张图片
下载完第5张图片
下载完第6张图片
下载完第7张图片
下载完第8张图片
下载完成

就能得到你们想要的高清壁纸啦！！！

赶紧实战起来吧！！！

都看到这里了，点个赞呗