学习笔记(09):150讲轻松搞定Python网络爬虫-xpath-在lxml中使用xpath语法

立即学习:https://edu.csdn.net/course/play/24756/280676?utm_source=blogtoedu

from lxml import etree

import os

text='''

<div>

    <ul>

        <li class='item-0'><a href='link1.html'>frist1 item</a></li>

        <li class='item-2'><a href='link1.html'><span class="bold">frist2 item</span></a></li>

        <li class='item-3'><a href='link1.html'><span class="bold">frist3 item</span></a></li>

        <li class='item-4'><a href='link1.html'>frist4 item</a></li>

        <li class='item-5'><a href='www.baidu.com'>frist5 item</a></li>

    </ul>

</div>

'''

#将字符串解析为HTML文档

html=etree.HTML(text)

# print(html)

#按字符串序列化HTML，就是转成字符串并且解码

#result=etree.tostring(html).decode('utf-8')

#获取所有的LI标签

# result=html.xpath('//li')

# print(result)

# for i in result:

#     print(etree.tostring(i))

 

#获取所以LI元素下的所有CLASS属性的值：

# result=html.xpath('//li/@class')

# # print(result)

# for i in result:

#     print(i)

 

#获取li标签下HREF为WWW.BAIDU.COM的A的标签

# result=html.xpath('//li/a[@href="ww0w.baidu.com"]')

# print(result)

# for i in result:

#     print(etree.tostring(i))

 

#获取所有LI标签下面的所有SPAN标签

# result=html.xpath('//li//span')

# print(result)

# for i in result:

#     print(etree.tostring(i))

 

#获取LI标签下所有的A标签里面的CLASS

# result=html.xpath('//li/a//@class')

# for i in result:

#     print(i)

 

#获取最后一个LI标签的A的HREF属性对应的值：

# result=html.xpath('//li[last()]/a/@href')

# for i in result:

#     print(i)

 

#获取倒数第二个LI元素的内容

# result=html.xpath('//li[last()-1]/a')

# print(result[0].text)#这个方法和下面的FOR方法一样的结果。

# # for i in result:

# #     print(i.text)

 

#获取倒数第二个LI元素的内容的第二种方法

result=html.xpath('//li[last()-1]/a/text()')

print(result)

 

#其实有三种方法，第一种方法那里其实已经是两种方法了。