第二章 页面爬取应用-缺失数据处理、图片下载、懒加载 2021-09-14

爬虫系列总目录

本章节介绍爬虫中使用的基础库用于选择，过滤页面信息。包括requests，bs4，xpath，正则表达式re，json 等内容，能够实现对简单页面的获取。
第二章 爬虫基础库-requests/bs4
第二章 正则表达式
第二章 简单网页的爬取与Xpath、Json使用
第二章 页面爬取应用-缺失数据处理、图片下载、懒加载

---

---

一、缺失数据处理的思路

获取对应关系的标签由于缺失导致数量不匹配，取上层元素进行变量。然后取出当前元素下的子标签。

import requests
from lxml import etree


def get_response(url, headers=None):
    """获取段子网的响应"""
    _headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/93.0.4577.63 Safari/537.36'
    }
    if headers:
       _headers = headers
    res = requests.get(url, headers=_headers)
    return res.content.decode()   # 如果当前网站不是utf8的编码 需要在括号内指定对应的编码


def main():
    """
    xpath 练习使用，获取页面数据
    """
    url = 'https://36kr.com/'
    response = get_response(url)
    contents = etree.HTML(response, etree.HTMLParser())

    # 获取所有的父节点
    total_data = contents.xpath('//*/div[@class="article-item-info clearfloat"]')
    for each_data in total_data:
        # 查询父节点下面的的标签
        titles = each_data.xpath("./p/a")
        if len(titles) != 0:
            res_title = each_data.text
        authors = each_data.xpath("./div/a")
        if len(authors) != 0:
            author = authors[0].text

二、图片下载

• 解析原网页，分析页面，获取页面的图片的src 下载路径，请求图片保存文件。

# 根据返回内容的编码修改编码
response.encoding = response.apparent_encoding

代码如下（示例）：

def save_img(path, img_url, img_name):
    _headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/93.0.4577.63 Safari/537.36'
    }
    bool_ = os.path.exists(path)
    if not bool_:
        os.makedirs(path)
    path = os.path.join(path, img_name + '.jpg')

    with open(path, 'wb') as f:
        # 请求图片的数据
        img_response = requests.get(img_url, headers=_headers)
        # 保存数据
        f.write(img_response.content)
        print('{}.jpg已下载完成'.format(img_name))

三、 图片懒加载介绍

3.1 图片懒加载介绍

一张图片就是一个标签，浏览器是否发起请求图片是根据的src属性，所以实懒加载的关键就是，在图片没有进入可视区域时，先不给的src赋值，这样浏览器就不会发送请求了，等到图片进入可视区域再给src赋值。

3.2 懒加载解决办法

这里网页中img 标签中使用非src 的src2, 绕过浏览器编译渲染过程。分析页面后，获取src2 即可。

    src =html.xpath("//div[@id='container']/div/div/a/img/@src")
    src =html.xpath("//div[@id='container']/div/div/a/img/@src2")
    img_name =html.xpath("//div[@id='container']/div/div/a/img/@alt")
    src.extend(src2)