获取xpath定位到的html的某整个标签下的html源码

Python使用XPath获取HTML标签完整源码

最新推荐文章于 2025-04-24 16:30:00 发布

qq_41422774

最新推荐文章于 2025-04-24 16:30:00 发布

阅读量2.5k

点赞数

CC 4.0 BY-SA版权

分类专栏： python 文章标签： python xpath

本文链接：https://blog.csdn.net/qq_41422774/article/details/96902291

python 专栏收录该内容

20 篇文章

订阅专栏

本文介绍了在Python中利用XPath定位HTML元素时，如何获取整个标签的HTML源码。当XPath定位不精确到属性时，会返回一个元素列表，直接遍历可能导致错误。解决方法是遍历列表并提取每个元素的HTML内容。

在运用xpath寻找定位html元素的时候，不定位具体属性的时候返回的是一个列表，这个列表里面的元素是字典，直接遍历打印这个列表会出现如下错误：

import requests
from lxml import etree

url = 'https://www.baidu.com/s?wd=jingdong1&tn=96327163_hao_pg'
head = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.142 Safari/537.36'
}

res = requests.get(url,headers = head)
ahtml = etree.HTML(res.text)
blocks = ahtml.xpath('//*[@id="3001"]/div[2]/div/div[1]/a')
#打印整个a标签的html源码
content = etree.tostring(blocks[0])
print(content)

# 如果直接打印block或者循环遍历打印blocks的话会得到如下结果，这明显是不对的
print(blocks)
C:\Users\Administrator\Desktop\pythonsou>D:/pythonI-nstall/python.exe c:/Users/Administrator/Desktop/pythonsou/JD_spider/test.py
<Element img at 0x391b248>
#因为blocks是一个列表，而若用下面这种打印方法，不能够得到这整个标签的html代码
for block in blocks：
打印各属性标签tag，标签里面的属性attrib，以及标签中的文本text
	print(block.tag)
	print(block.attrib)
	print(block.text)
#得到
C:\Users\Administrator\Desktop\pythonsou>D:/pythonI-nstall/python.exe c:/Users/Administrator/Desktop/pythonsou/JD_spider/test.py
img
{'class': 'c-img c-img6', 'src': 'https://ss2.bdstatic.com/8_V1bjqh_Q23odCf/pacific/1892477896.jpg'}
None
#利用etree.tostring()才能得到这整个标签的html源码
blocks = ahtml.xpath('//*[@id="3001"]/div[2]/div/div[1]/a/img')	#列表blocks
content = etree.tostring(blocks[0])		
print(content)
#获取img这个标签的html源码结果如下
C:\Users\Administrator\Desktop\pythonsou>D:/pythonI-nstall/python.exe c:/Users/Administrator/Desktop/pythonsou/JD_spider/test.py
b'<img class="c-img c-img6" src="https://ss2.bdstatic.com/8_V1bjqh_Q23odCf/pacific/1892477896.jpg"/>'