python 数据解析

聚焦爬虫：爬取页面中指定的页面内容。
数据解析的分类：

• 正则
• bs4
• xpath(*)

数据解析原理概述：

• 解析的局部的文本内容都会在标签之间或者标签对应的属性中进行存储。
• 1.进行指定标签的定位
• 2.标签或者标签对应的属性中存储的数据值进行提取（解析）

正则解析：

1.如何爬取图片？

import requests
headers  = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.90 Safari/537.36 Edg/89.0.774.63'
}
url = 'https://pic.qiushibaike.com/system/pictures/12419/124199526/medium/47RGTUKG4G5YO5D9.jpg'

# content 返回的是二进制形式的图片数据
# text 返回的是字符串类型的图片数据
# json（） 返回的是对象类型的响应数据

img_data = requests.get(url=url,headers=headers).content
with open('./qiutu.jpg','wb') as fp:
    fp.write(img_data)

content 返回的是二进制形式的图片数据
text 返回的是字符串类型的图片数据
json（） 返回的是对象类型的响应数据

2.需求：爬取糗事百科中糗图板块下的所有的糗图图片

url = ‘https://www.qiushibaike.com/imgrank/’

import requests
import re
import os
# 创建一个文件夹用来保存所有的图片
if not os.path.exists('qiutulibs'):
    os.mkdir('qiutulibs')

headers  = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.90 Safari/537.36 Edg/89.0.774.63'
}
url = 'https://www.qiushibaike.com/imgrank/'

#   使用通用爬虫对整张页面进行爬取
page_text = requests.get(url=url,headers=headers).text

#   使用聚焦爬虫将页面中所有的糗图进行解析（提取）
ex = '<div class="thumb">.*?<img src="(.*?)" alt.*?</div>'
img_src_list = re.findall(ex,page_text,re.S)

#   print(img_src_list)
for src in img_src_list:
    #   拼接处完整的url地址
    src = 'https:'+src
    #   请求图片的二进制数据
    img_data = requests.get(url=src,headers=headers).content
    #   生成每张图片的名称
    img_name = src.split('/')[-1]
    #   图片最终存储路径
    imgPath = './qiutulibs/'+img_name
    with open(imgPath,'wb')as fp:
        fp.write(img_data)
        print(img_name,'下载成功')

3.分页爬取：

各个页面之间只是最后的数字不同；
可以采用以下操作：

url = 'https://www.qiushibaike.com/imgrank/page/%d/'
for pageNum in range(1,3):
	new_url = f"https://www.qiushibaike.com/imgrank/page/{pageNum}/"

bs4和xpath后续跟进！！！