python爬虫之xpath解析基础

杂记铺

于 2024-06-02 22:46:57 发布

阅读量1.1k

点赞数 18

文章标签： python 爬虫开发语言

本文链接：https://blog.csdn.net/qq_55829395/article/details/139398921

版权

python爬虫之xpath解析基础

xpath解析：最常用且最便捷高效的一种解析方式。通用性。

xpath解析原理：

1、实例化一个etree的对象，且需要将被解析的页面源码数据加载到该对象中。
2、调用etree对象中的xpath方法结合着xpath表达式实现标签的定位和内容的捕获。

环境安装：

pip install lxml

如何实例化一个etree对象：from lxml import etree

1、将本地的html文档中的源码数据加载到etree对象中：
etree.parse(filePath)
2、可以将从互联网上获取的源码数据加载到该对象中
etree.HTML(‘page_text’)
3、xpath(‘xpath表达式’)

xpath表达式：

1、/：表示的是从根节点开始定位。表示的是一个层级。
2、//：表示的是多个层级。可以表示从任意位置开始定位。
3、属性定位：//div[@class=“song”] tag[@attrName="attrValue]
4、索引定位：//div[@class=“song”]/p[3] 索引从1开始。
5、取文本：
（1）/text() 获取的是标签中直系的文本内容
（2）//text() 标签中非直系的文本内容（所有的文本内容）
6、取属性：
（1）/@attrName ==>img/src
本地测试html文件源码如下：

<html lang="en">
<head>
    <meta charset="UTF-8">
    <title>测试bs4</title>
</head>
<body>
    <div>
        <p>百里守约</p>
    </div>
    <div class="song">
        <p>李清照</p>
        <p>王安石</p>
        <p>苏轼</p>
        <p>柳宗元</p>
        <a href="http://www.song.com/" title="赵匡胤" target="_self">
            <span>this is span</span>
        宋朝是最强大的王朝，不是军队的强大，而是经济很强大，国民都很有钱</a>
        <a href="" class="du">总为浮云能蔽日，长安不见使人愁</a>
        <img src="http://www.baidu.com/meinv.jpg" alt=""/>
    </div>
    <div class="tang">
        <ul>
            <li><a href="http://www.baidu.com" title="qing">清明时节雨纷纷，路上行人欲断魂，借问酒家何处有，牧童遥指杏花村</a></li>
            <li><a href="http://www.163.com" title="qin">秦时明月汉时关，万里长征人未还，但使龙城飞将在，不教胡马度阴山</a></li>
            <li><a href="http://www.126.com" title="qi">岐王宅里寻常见，崔久堂前几度闻，正是江南好风景，落花时节又逢君</a></li>
            <li><a href="http://www.sina.com" title="du">杜甫</a></li>
            <li><a href="http://www.dudu.com" title="du">杜牧</a></li>
            <li><b>杜小月</b></li>
            <li><i>度蜜月</i></li>
            <li><a href="http://www.haha.com" id="feng">凤凰台上凤凰游，凤去台空江自流，吴宫花草埋幽径，晋代衣冠成古丘</a></li>
        </ul>
    </div>
</body>
</html>

爬虫xpath测试代码如下：

from lxml import etree
if __name__ == '__main__':
    #实例化好了一个etree对象，且将被解析的源码加载到了该对象中
    parser = etree.HTMLParser(encoding='utf-8')
    tree = etree.parse('text.html',parser=parser)
    # r = tree.xpath('/html/body/div')
    # r = tree.xpath('/html//div')
    # r = tree.xpath('//div')
    # r = tree.xpath('//div[@class="song"]')
    # r = tree.xpath('//div[@class="song"]/p[3]')
    # r = tree.xpath('//div[@class="tang"]//li[5]/a/text()')[0]
    # r = tree.xpath('//li[7]//text()')
    # r = tree.xpath('//div[@class="tang"]//text()')
    r = tree.xpath('//div[@class="song"]/img/@src')
    print(r)