day04 - 爬虫之常用Xpath和lxml库的使用

最新推荐文章于 2022-06-28 17:40:33 发布

小小的圈圈

最新推荐文章于 2022-06-28 17:40:33 发布

阅读量93

点赞数

分类专栏： python爬虫

本文链接：https://blog.csdn.net/qq_36334897/article/details/105277625

版权

python爬虫专栏收录该内容

8 篇文章 0 订阅

订阅专栏

一、常用Xpath
1.获取标签中的文本

a/text() # 获取a标签中的文本
a//text() # 获取a标签下所有标签中的文本

2.获取标签的某个属性值

a/@属性名xxx # 获取a标签中属性xxx的值

3.当前位置开始

//a # 选择页面上所有的a标签

二、lxml中基本知识

1.修正html数据----返回element对象

from lxml import etree
html = etree.HTML(修正文本)

from lxml import etree
test = ''' <div> <ul> 
        <li class="item-1"><a>first item</a></li> 
        <li class="item-1"><a href="link2.html">second item</a></li> 
        <li class="item-inactive"><a href="link3.html">third item</a></li> 
        <li class="item-1"><a href="link4.html">fourth item</a></li> 
        <li class="item-0"><a href="link5.html">fifth item</a>  
        </ul> </div> '''
html = etree.HTML(test)     # 返回一个element对象

# 打印数据
print(type(html))
print(html)

运行结果

<class 'lxml.etree._Element'>
<Element html at 0x226fad44448>

2.获取修正后的html数据 —返回bytes字节类型数据

html_bytes = etree.tostring(html)
转换为str类型
html_str =html_bytes.decode()

html_by = etree.tostring(html)    # 返回字节bytes类型的数据
print(html_by)
html_str = html_by.decode()        # 将bytes类型的数据转换为str型
print('html_str:',html_str)

运行结果

html_by: b'<html><body><div> <ul> \n        <li class="item-1"><a>first item</a></li> \n        <li class="item-1"><a href="link2.html">second item</a></li> \n        <li class="item-inactive"><a href="link3.html">third item</a></li> \n        <li class="item-1"><a href="link4.html">fourth item</a></li> \n        <li class="item-0"><a href="link5.html">fifth item</a>  \n        </li></ul> </div> </body></html>'
html_str: <html><body><div> <ul> 
        <li class="item-1"><a>first item</a></li> 
        <li class="item-1"><a href="link2.html">second item</a></li> 
        <li class="item-inactive"><a href="link3.html">third item</a></li> 
        <li class="item-1"><a href="link4.html">fourth item</a></li> 
        <li class="item-0"><a href="link5.html">fifth item</a>  
        </li></ul> </div> </body></html>

3.使用Xpath匹配对修正后的element匹配—返回列表或element对象

html _data = html.xpath(xpath语句)

# 通过Xpath获取html（element对象)中a标签中的href属性值
href_list = html.xpath("//li[@class='item-1']/a/@href")   # 返回列表类型，如果没有匹配到就返回空列表
print(href_list)

#通过Xpath获取html（element对象)中a标签中的文本
text_list= html.xpath("//li[@class='item-1']/a/text()")
print(text_list)
# 选择class属性值为item-1的li标签
li_list = html.xpath("//li[@class='item-1']")
print(li_ist)

运行结果

['link2.html', 'link4.html']
['first item', 'second item', 'fourth item']
[<Element li at 0x226fad62f48>, <Element li at 0x226fad62f88>, <Element li at 0x226faca8308>]

4.分组

for li in li_list:
	item=  {}
    item["title"] = i.xpath("a/text()")[0] if len(i.xpath("./a/text()"))>0 else None
    item["href"] = i.xpath("./a/@href")[0] if len( i.xpath("./a/@href"))>0 else None
    print(item)

运行结果

{'title': 'first item', 'href': None}
{'title': 'second item', 'href': 'link2.html'}
{'title': 'fourth item', 'href': 'link4.html'}

小小的圈圈

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
day04 - 爬虫之常用Xpath和lxml库的使用

一、常用Xpath1.获取标签中的文本a/text() # 获取a标签中的文本a//text() # 获取a标签下所有标签中的文本2.获取标签的某个属性值a/@属性名xxx # 获取a标签中属性xxx的值3.当前位置开始//a # 选择页面上所有的a标签二、lxml中基本知识1.修正html数据----返回...
复制链接

扫一扫