数据解析(聚焦爬虫)
聚焦爬虫:爬取页面中指定的页面内容。
聚焦爬虫的编码流程:
- 指定url
- 发起请求
- 获取响应数据
- 数据解析
- 持久化存储
建立在通用爬虫基础之上,先爬取整个页面,之后进行指定局部的数据进行提取。这个提取的过程就称之为数据解析
数据解析分类:
- 正则
- bs4
- Xpath(最通用的,重点)
数据解析原理:
解析的局部内容基本上会存储在标签之间或标签的属性中;
- 进行指定的标签定位
- 标签之间或标签的属性中存储的数据进行提取(解析)
爬取图片数据
- content 二进制数据
- text 文本数据
- json() 对象数据
import requests
if __name__ == "__main__":
url = 'https://pic.qiushibaike.com/system/pictures/12385/123851339/medium/CWUY37JF2PIXRYBW.jpg'
img_data = requests.get(url=url).content
with open('./数据解析/test.png', 'wb') as fp:
fp.write(img_data)
print('over')
正则
爬取糗事百科糗图板块的所有图片
单页图片批量获取
import requests
import re
import os
if __name__ == "__main__":
if not os.path.exists('./数据解析/img'):
os.mkdir('./数据解析/img')
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36'
}
url = 'https://www.qiushibaike.com/imgrank/'
data_text = requests.get(url=url, headers=headers).text
ex = '<div class="thumb">.*?<img src="(.*?)" alt.*?</div>'
img_list = re.findall(ex, data_text, re.S)
for img_url in img_list:
img_data = requests.get(url='https:'+img_url, headers=headers).content
img_name = img_url.split('/')[-1]
with open('./数据解析/img/'+img_name, 'wb') as fp:
fp.write(img_data)
print('over')
批量分页处理
import requests
import re
import os
if __name__ == "__main__":
if not os.path.exists('./数据解析/img'):
os.mkdir('./数据解析/img')
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36'
}
url = 'https://www.qiushibaike.com/imgrank/page/%d/'
for pageid in range(1, 14):
page_url = format(url % pageid)
data_text = requests.get(url=page_url, headers=headers).text
ex = '<div class="thumb">.*?<img src="(.*?)" alt.*?</div>'
img_list = re.findall(ex, data_text, re.S)
for img_url in img_list:
img_data = requests.get(
url='https:'+img_url, headers=headers).content
img_name = img_url.split('/')[-1]
with open('./数据解析/img/'+img_name, 'wb') as fp:
fp.write(img_data)
print(img_name+' download')
print('over')
BS4
bs4 是python 中独有的解析方式,只能运用在python语言中。
原理
- 实例化一个BeautifulSoup对象,并且将页面源码数据加载到该对象中
- 通过BeautifulSoup对象相关的属性、方法进行标签的定位和数据的提取
环境安装
BeautifulSoup对象存在于bs4模块中
pip install bs4
解析器 lxml,使用bs4、xpath解析时会应用到lxml解析器
pip install lxml
实例化BeautifulSoup对象
加载本地HTML文件数据到对象中
from bs4 import BeautifulSoup
if __name__ == "__main__":
fp = open('./数据解析/test.html', 'r', encoding='utf-8')
soup = BeautifulSoup(fp, 'lxml')
print(soup)
加载互联网获取的源码数据到对象中
import requests
from bs4 import BeautifulSoup
if __name__ == "__main__":
headers