html中的结构可能是棵树,不一定是二叉树,可能是多叉的。这时用xpath定位,解析会比较合适。
语法:
1.解析本地存储
tree=etree.parse('fileName')
2.解析网上爬取
tree=etree.HTML(page_text)
3.标签定位
tree.xpath('html/head') 定位到head标签
tree.xpath('//head') 定位所有的head
tree.xpath('//li[3]') 定位到第三个
4.数据提取
tree.xpath('//a[@id="feng"]/text()')
tree.xpath('//div[@class="song"]//text()')
实例:爬一些图片。与前面一样。只是一些步骤和语法实现,给大家一些参考。
from lxml import etree
import requests
import os
#新建文件夹
dirName='imgLibs'
if not os.path.exists(dirName):
os.mkdir(dirName)
headers={
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.132 Safari/537.36'
}
url='https://***'
for page in range(1,6):
if page==1:
new_url='https://'
else:
new_url=format(url%page) #非第一页的url
response=requests.get(new_url,headers=headers) #得到网页的内容
response.encoding='gbk' #处理乱码
page_text=response.text
tree=etree.HTML(page_text)
li_list=tree.xpath('//div[@class="slist"]/ul/li')#定位到所有的li标签
for li in li_list:
img_src='https://www.baidu.com'+li.xpath('./a/img/@src')[0]
img_name=li.xpath('./a/img/@alt')[0]+'.jpg'
img_data=requests.get(img_src,headers=headers).content
filePath=dirName+'/'+img_name
with open(filePath,'wb') as fp: #写入文件
fp.write(img_data)
print(img_src,img_name)