xpath:跟re,bs4,pyquery一样,都是页面数据提取方法。
xpath是根据元素的路径来查找页面元素。
安装lxml包:pip install lxml
HTML实例:
html = """
<div id='content'>
<ul class='list'>
<li class='one'>One</li>
<li class='two'>Two</li>
<li class='three'>Three</li>
<li class='four four1 four2 four3'>Four</li>
<div id='inner'>
<a href='http://www.baidu.com'>百度一下</a>
<p>第一段</p>
<p>第2段</p>
<p>第3段</p>
<p>
第4段
<span>法大师傅大师傅</span>
</p>
<p>第5段</p>
<p>第6段</p>
</div>
</ul>
</div>
"""
将一个Html文件解析成为对象:
首先导入:
# element tree: 文档树对象
from lxml.html import etree
将HTML解析成为对象:
#方式一:使用较多
obj= etree.HTML("index.html")
#方式二:
obj = etree.parse('index.html')
print(type(obj))
开始查找元素或数据:
注意:
1、 //ul: 从obj中查找ul,不考虑ul所在的位置。
2、/li: 找到ul下边的直接子元素li,不包含后代元素。
3、 [@class="one"]: 给标签设置属性,用于过滤和筛选
4、xpath()返回的是一个列表:比如
one_li = obj.xpath('//ul/li[@class="one"]')[0]
获取one_li的文本内容:
one_li = obj.xpath('//ul/li[@class="one"]')[0]
print(one_li.xpath('text()')[0])
# 上述写法的合写方式
print(obj.xpath('//ul/li[@class="one"]/text()')[0])
获取所有li的文本内容:
all_li = obj.xpath('//ul/li/text()')
获取所有li的文本内容以及class属性的值:
all_li = obj.xpath('//ul/li')
for li in all_li:
class_value = li.xpath('@class')[0]
text_value = li.xpath('text()')[0]
print(class_value, text_value)
获取div标签内部的所有文本:
注意://text():获取所有后代元素的文本内容
/text():获取直接子元素的文本,不包含后代元素
print(obj.xpath('//div[@id="inner"]//text()'))
获取ul中第一个li [1]([1]:第一个li)的文本:
print(obj.xpath('//ul/li[1]/text()'))
查找类名中包含four的li的文本内容:
print(obj.xpath('//ul/li[contains(@class, "four")]/text()'))