xpath:跟re,bs4,pyquery一样,都是页面数据提取方法。
xpath是根据元素的路径来查找页面元素。
安装lxml包:pip install lxml
HTML实例:
html = “”"
“”"
将一个Html文件解析成为对象:
首先导入:
element tree: 文档树对象
from lxml.html import etree
将HTML解析成为对象:
#方式一:使用较多
obj= etree.HTML(“index.html”)
#方式二:
obj = etree.parse(‘index.html’)
print(type(obj))
开始查找元素或数据:
注意:
1、 //ul: 从obj中查找ul,不考虑ul所在的位置。
2、/li: 找到ul下边的直接子元素li,不包含后代元素。
3、 [@class=“one”]: 给标签设置属性,用于过滤和筛选
4、xpath()返回的是一个列表:比如
one_li = obj.xpath(’//ul/li[@class=“one”]’)[0]
获取one_li的文本内容:
one_li = obj.xpath(’//ul/li[@class=“one”]’)[0]
print(one_li.xpath(‘text()’)[0])
上述写法的合写方式
print(obj.xpath(’//ul/li[@class=“one”]/text()’)[0])
获取所有li的文本内容:
all_li = obj.xpath(’//ul/li/text()’)
获取所有li的文本内容以及class属性的值:
all_li = obj.xpath(’//ul/li’)
for li in all_li:
class_value = li.xpath(’@class’)[0]
text_value = li.xpath(‘text()’)[0]
print(class_value, text_value)
获取div标签内部的所有文本:
注意://text():获取所有后代元素的文本内容
/text():获取直接子元素的文本,不包含后代元素
print(obj.xpath(’//div[@id=“inner”]//text()’))
获取ul中第一个li [1]([1]:第一个li)的文本:
print(obj.xpath(’//ul/li[1]/text()’))
查找类名中包含four的li的文本内容:
print(obj.xpath(’//ul/li[contains(@class, “four”)]/text()’))
————————————————
版权声明:本文为CSDN博主「MXuDong」的原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接及本声明。
原文链接:https://blog.csdn.net/qq_33472765/article/details/80672281