lxml的使用

最新推荐文章于 2024-05-20 11:31:07 发布

winnertakeall

最新推荐文章于 2024-05-20 11:31:07 发布

阅读量200

点赞数

文章标签： lxml etree

本文链接：https://blog.csdn.net/winnertakeall/article/details/86765991

版权

from lxml import etree

text = ''' <div> <ul> 
        <li class="item-1"><a>first item</a></li> 
        <li class="item-1"><a href="link2.html">second item</a></li>
        <li class="item-inactive"><a href="link3.html">third item</a></li>
        <li class="item-1"><a href="link4.html">fourth item</a></li>
        <li class="item-0"><a href="link5.html">fifth item</a> 
        </ul> </div> '''
html = etree.HTML(text)
print(html)
# 查看element对象中所包含的字符串
print(etree.tostring(html).decode())

# 获取class为item-1 li下的a的href
ret1 = html.xpath("//li[@class='item-1']/a/@href")
print("ret1:")
print(ret1)
# 获取class为item-1 li下的a的文本
ret2 = html.xpath("//li[@class='item-1']/a/text()")
print("ret2:")
print(ret2)

# 每个li是一条新闻，把url和文本组成字典
for href in ret1:
    item = {}
    item['href'] = href
    item["title"] = ret2[ret1.index(href)]
    print(item)
    
print("*"*100)
ret3 = html.xpath("//li[@class='item-1']")
print("ret3:")
print(ret3)
print("*"*20)
for i in ret3:
    item = {}
    item["title"] = i.xpath("./a/text()")[0] if len(i.xpath("./a/text()"))>0 else None
    item["href"] = i.xpath("./a/@href")[0] if len(i.xpath("./a/@href"))>0 else None
    print(item)
    
"""
lxml能够修正HTML代码，但是可能会改错
使用etree.tostring观察修改之后的html的样子，根据修改之后的html字符串写xpath

-提取页面数据的思路
 -先分组，取到一个包含分组标签的列表
 -遍历，取其中每一组进行数据的提取，不会造成数据的对应错乱
"""



结果：
<Element html at 0x8c347c8>
<html><body><div> <ul> 
        <li class="item-1"><a>first item</a></li> 
        <li class="item-1"><a href="link2.html">second item</a></li>
        <li class="item-inactive"><a href="link3.html">third item</a></li>
        <li class="item-1"><a href="link4.html">fourth item</a></li>
        <li class="item-0"><a href="link5.html">fifth item</a> 
        </li></ul> </div> </body></html>
ret1:
['link2.html', 'link4.html']
ret2:
['first item', 'second item', 'fourth item']
{'href': 'link2.html', 'title': 'first item'}
{'href': 'link4.html', 'title': 'second item'}
****************************************************************************************************
ret3:
[<Element li at 0x8be7dc8>, <Element li at 0x8c3d848>, <Element li at 0x8c3db48>]
********************
{'title': 'first item', 'href': None}
{'title': 'second item', 'href': 'link2.html'}
{'title': 'fourth item', 'href': 'link4.html'}