数据解析
数据解析的原理:
数据解析分类
正则
bs4
xpath
聚焦爬虫
爬取页面中指定的页面内容。
爬取图片
import requests
url='https://pic.qiushibaike.com/system/pictures/12432/124323774/medium/4TR4PKG57RJD1N82.jpg'
#content返回的是二进制的图片数据
#text(字符串)content(二进制)json(对象)
img_data=requests.get(url).content
with open('./qiutu.jpg','wb') as fp:
fp.write(img_data)
下载图片
import requests
import re
url='https://www.qiushibaike.com/imgrank/'
headers = {
'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.93 Safari/537.36'
}
#使用通用爬虫对url对应的一整张页面进行爬取
page_text=requests.get(url=url,headers=headers).text
#使用聚焦爬虫将页面所有的糗图进行解析
ex='<div class="thumb">.*?<img src="(.*?)" alt.*?</div>'
img_str_list=re.findall(ex,page_text,re.S);
for src in img_str_list:
#拼接出一个完整的图片url
src ='https:'+src
img_data=requests.get(url=src,headers=headers).content
#输出图片名称
img_name=src.split('/')[-1]
#图片存储的路径
imgPath='./giutuLibs'+img_name
with open(imgPath,'wb') as fp:
fp.write(img_data)
print(img_name,'下载成功')