数据解析之xpath解析

xpath解析概念

最常用且最便捷高效、最通用的一种解析方式。

原理

1、实例化一个etree的对象，且将需要被解析的页面源码数据加载到该对象中

2、调用etree对象中的xpath方法结合xpath表达式实现标签的定位和内容的捕获

环境的安装

• pip install lxml

如何实例化一个etree对象

导入：from lxml import etree;

1、将本地的html文档中源码加载到etree对象中：
- etree.parse(filepath)

2、将从互联网上获取的页面源码数据加载到该对象中
- etree.HTML('page_text')

3、调用xpath方法：xpath('xpath表达式')：假设tree = etree.HTML('page_text')

1) 层级选择器：tree.xpath('/html/body/div')。
其中第一个'/'表示从根节点开始选择；
'html'和'body'中间的‘/’表示一个层级。
若写成tree.xpath('/html//div')，‘//’表示多个层级。
若写成tree.xpath('//div')，‘//’表示从源码的任意位置开始定位，找到所有div标签。
返回数据为列表，列表的元素为Element类型对象。

2）属性定位：tree.xpath('tag[@attrName="attrValue"]')，
如tree.xpath('//div[@class="song"]')。

3）索引定位：索引从1开始。
tree.xpath('tag[@attrName="attrValue"][索引值]')

4) 若xpath表达式有多个，可以用竖线‘|’进行或运算。
例如：tree.xpath('/html/body/div/ul/li[2]/a | /html/body/div/li/a')

5）取定位到的标签内文本：

    ① tree.xpath('tag/text()')：
    取得该标签中的文本，不可获得子标签的文本，返回对象为列表。
    
    ② tree.xpath('tag//text()')：
    取得该标签中的所有文本，包括子标签的文本，返回对象为列表。
    
6）取定位到的标签的属性值：tree.xpath('tag/@attrName')

实战练习

需求：爬取58二手房中的房源信息

# 导包
import requests
from lxml import etree
url='https://nj.58.com/ershoufang/'
headers={
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.96 Safari/537.36 Edg/88.0.705.50'
}
page_text=requests.get(url,headers=headers).text
tree = etree.HTML(page_text)
div_list = tree.xpath('//div[@class="property-content-title"]')
fp = open('wuba.text','w',encoding='utf-8')
for div in div_list:
    title = div.xpath('.//h3/text()')[0] #'.'表示从当前div标签开始。因为是列表对象，要取字符串需要用位置索引方式取出对应字符串
    fp.write(title+'\n')
print('OVER!!!')

OVER!!!

需求：解析下载图片数据，网站：http://pic.netbian.com/4kdongwu/

import requests
from lxml import etree
import os

if not os.path.exists('4ktupian'):
    os.mkdir('4ktupian')

headers={
        'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.96 Safari/537.36 Edg/88.0.705.50'
    }
for i in range(2,5):
    url='http://pic.netbian.com/4kdongwu/index_{}.html'.format(str(i))
    response = requests.get(url,headers=headers)
    response.encoding=response.apparent_encoding
    page_text = response.text
    tree = etree.HTML(page_text)
    li_list = tree.xpath('//div[@class="slist"]/ul/li')
    
    for li in li_list:
        src = li.xpath('./a/img/@src')[0]
        img_name=li.xpath('./a/img/@alt')[0]+'.jpg'
#         img_naem = img_name.encode('iso-8859-1').decode('gbk') # 处理重文乱码的通用解决方啊
        url = 'http://pic.netbian.com/'+ src
        img_content = requests.get(url,headers=headers).content
        filepath = '4ktupian/'+img_name
        with open(filepath,'wb') as f:
            f.write(img_content)
            print (img_name + 'DONE!!!')

非洲草原大象4k壁纸.jpgDONE!!!
火烈鸟4k壁纸.jpgDONE!!!
绿色的小青蛙 池塘 6k图片.jpgDONE!!!
野鹅 湖 乡村 6k图片.jpgDONE!!!
鸟 Widi群岛 哈马黑拉岛 印尼 鸟儿4k图片.jpgDONE!!!
白色的狗4k图片.jpgDONE!!!
草地上的两只可爱小狗5k动物图片.jpgDONE!!!
草地上的白色骏马4k高清图片.jpgDONE!!!
白天鹅4k高清图片.jpgDONE!!!
棕色和白色的牛 牧场4k高清图片.jpgDONE!!!
蜜蜂 鲜花 绿色植物 4k高清图片.jpgDONE!!!
马 麦克风 唱歌 创意动物4k壁纸.jpgDONE!!!
两匹黑白骏马4k图片.jpgDONE!!!
沙场上奔跑的五匹骏马高清图片.jpgDONE!!!
黑白相间小猫4K壁纸.jpgDONE!!!
狗 5120 2880 MAC 5k壁纸下载.jpgDONE!!!
松鼠 森林 啮齿类动物 树 公园 漫步 特写 跳转 松鼠4K壁纸.jpgDONE!!!
草地上可爱白兔图片.jpgDONE!!!
一对黑白色小猫可爱图片.jpgDONE!!!
白天躺在地上的狗5k图片.jpgDONE!!!
拉伸白猫6k图片.jpgDONE!!!
金�~4k壁纸.jpgDONE!!!
红色金�~3440x1440带鱼屏壁纸.jpgDONE!!!
躲在沙发里的猫4k壁纸.jpgDONE!!!
日落 沙滩 螃蟹 瓶子 海洋 创意4k壁纸.jpgDONE!!!
鹿3440x1440壁纸.jpgDONE!!!
可爱小绵羊图片.jpgDONE!!!
两只可爱绵羊3440x1440壁纸.jpgDONE!!!
罗宾鸟图片素材.jpgDONE!!!
罗宾鸟3440x1440壁纸.jpgDONE!!!
锦鲤鱼4k壁纸.jpgDONE!!!
锦鲤鱼3440x1440壁纸.jpgDONE!!!
到处流浪 乌龟 房子 小鸟 4k壁纸.jpgDONE!!!
天空中翱翔的老鹰4k壁纸.jpgDONE!!!
普通翠鸟4k壁纸.jpgDONE!!!
鸳鸯3440x1440壁纸.jpgDONE!!!
红耳鹎4k壁纸.jpgDONE!!!
一只马 By nateberrett 4k壁纸.jpgDONE!!!
领角�^猫头鹰4k壁纸.jpgDONE!!!
阿拉斯加冰山的鹰4k壁纸.jpgDONE!!!
美丽的蝴蝶3440x1440壁纸.jpgDONE!!!