Python爬虫数据解析（聚焦爬虫） 正则、BS4、Xpath

数据解析（聚焦爬虫）

聚焦爬虫：爬取页面中指定的页面内容。
聚焦爬虫的编码流程：

1. 指定url
2. 发起请求
3. 获取响应数据
4. 数据解析
5. 持久化存储

建立在通用爬虫基础之上，先爬取整个页面，之后进行指定局部的数据进行提取。这个提取的过程就称之为数据解析

数据解析分类：

1. 正则
2. bs4
3. Xpath（最通用的，重点）

数据解析原理：
解析的局部内容基本上会存储在标签之间或标签的属性中；

1. 进行指定的标签定位
2. 标签之间或标签的属性中存储的数据进行提取（解析）

爬取图片数据

1. content 二进制数据
2. text 文本数据
3. json() 对象数据

import requests
if __name__ == "__main__":
    url = 'https://pic.qiushibaike.com/system/pictures/12385/123851339/medium/CWUY37JF2PIXRYBW.jpg'
    img_data = requests.get(url=url).content
    with open('./数据解析/test.png', 'wb') as fp:
        fp.write(img_data)
    print('over')

正则

爬取糗事百科糗图板块的所有图片

单页图片批量获取

import requests
import re
import os

if __name__ == "__main__":
    if not os.path.exists('./数据解析/img'):
        os.mkdir('./数据解析/img')
    headers = {
   
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36'
    }
    url = 'https://www.qiushibaike.com/imgrank/'
    data_text = requests.get(url=url, headers=headers).text
    ex = '<div class="thumb">.*?<img src="(.*?)" alt.*?</div>'
    img_list = re.findall(ex, data_text, re.S)
    for img_url in img_list:
        img_data = requests.get(url='https:'+img_url, headers=headers).content
        img_name = img_url.split('/')[-1]
        with open('./数据解析/img/'+img_name, 'wb') as fp:
            fp.write(img_data)
    print('over')

批量分页处理

import requests
import re
import os

if __name__ == "__main__":
    if not os.path.exists('./数据解析/img'):
        os.mkdir('./数据解析/img')
    headers = {
   
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36'
    }
    url = 'https://www.qiushibaike.com/imgrank/page/%d/'
    for pageid in range(1, 14):
        page_url = format(url % pageid)
        data_text = requests.get(url=page_url, headers=headers).text
        ex = '<div class="thumb">.*?<img src="(.*?)" alt.*?</div>'
        img_list = re.findall(ex, data_text, re.S)
        for img_url in img_list:
            img_data = requests.get(
                url='https:'+img_url, headers=headers).content
            img_name = img_url.split('/')[-1]
            with open('./数据解析/img/'+img_name, 'wb') as fp:
                fp.write(img_data)
            print(img_name+' download')
    print('over')

BS4

bs4 是python 中独有的解析方式，只能运用在python语言中。

原理

1. 实例化一个BeautifulSoup对象，并且将页面源码数据加载到该对象中
2. 通过BeautifulSoup对象相关的属性、方法进行标签的定位和数据的提取

环境安装

BeautifulSoup对象存在于bs4模块中

	pip install bs4

解析器 lxml，使用bs4、xpath解析时会应用到lxml解析器

pip install lxml

实例化BeautifulSoup对象

加载本地HTML文件数据到对象中

from bs4 import BeautifulSoup
if __name__ == "__main__":
    fp = open('./数据解析/test.html', 'r', encoding='utf-8')
    soup = BeautifulSoup(fp, 'lxml')
    print(soup)

加载互联网获取的源码数据到对象中

import requests
from bs4 import BeautifulSoup
if __name__