1、首先安装xpath解析工具第三方库
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple lxml
2、选取节点、选取未知节点、选取若干路径
举例说明:
谓语用来查找某个特定的节点或者包含某个指定的值的节点,被嵌在方括号中。在下面的表格中,我们列出了带有谓语的一些路径表达式,以及表达式的结果:
选取未知节点
选取若干路径
案例:
from lxml import etree
# 定义需要爬取的html网页内容
html = """
<html>
<body>
<ul>
<li><a href="a.html">java</a></li>
<li><a href="b.html">python</a></li>
<li><a href="c.html">nodejs</a></li>
</ul>
<ol>
<li class="a1">样式1</li>
<li class="a2">样式2</li>
<li class="a3">样式3</li>
</ol>
</body>
</html>
"""
# 解析html
tree = etree.HTML(html)
# 查找指定路径所对应的属性
lis = tree.xpath("/html/body/ul/li/a/@href")
print(lis)
输出结果:
C:\Programs\Python\vis\Scripts\python.exe "D:/pythonTest/test01/pyhton 中xpath爬虫.py"
['a.html', 'b.html', 'c.html']