python爬虫 selector xpath提取网页内容

最新推荐文章于 2024-07-26 15:53:54 发布

squabLi

最新推荐文章于 2024-07-26 15:53:54 发布

阅读量1.7w

点赞数 7

分类专栏：爬虫提取网页内容 xpath 文章标签：爬虫提取网页内容 xpath

本文链接：https://blog.csdn.net/IT_arookie/article/details/82825448

版权

爬虫同时被 3 个专栏收录

19 篇文章 1 订阅

订阅专栏

提取网页内容

3 篇文章 0 订阅

订阅专栏

xpath

1 篇文章 0 订阅

订阅专栏

提取网页内容四大基本方法之

3.xpath提取网页内容 selector模块

XML 节点选择

表达式	描述
nodename	选取此节点的所有子节点。
/	从根节点选取。
//	从匹配选择的当前节点选择文档中的节点，而不考虑它们的位置。
.	选取当前节点。
..	选取当前节点的父节点。
@	选取属性。
bookstore	选取 bookstore 元素的所有子节点。
/bookstore	选取根元素 bookstore。
bookstore/book	选取属于 bookstore 的子元素的所有 book 元素。
//book	选取所有 book 子元素，而不管它们在文档中的位置。
bookstore//book	选择属于 bookstore 元素的后代的所有 book 元素，而不管它们位于 bookstore 之下的什么位置。
//@lang	选取名为 lang 的所有属性。

谓语路径表达式	结果：
/bookstore/book[1]	选取属于 bookstore 子元素的第一个 book 元素。
/bookstore/book[last()]	选取属于 bookstore 子元素的最后一个 book 元素。
/bookstore/book[last()-1]	选取属于 bookstore 子元素的倒数第二个 book 元素。
/bookstore/book[position()❤️]	选取最前面的两个属于 bookstore 元素的子元素的 book 元素。
//title[@lang]	选取所有拥有名为 lang 的属性的 title 元素。
//title[@lang=‘eng’]	选取所有 title 元素，且这些元素拥有值为 eng 的 lang 属性。
/bookstore/book[price>35.00]	选取 bookstore 元素的所有 book 元素，且其中的 price 元素的值须大于 35.00。
/bookstore/book[price>35.00]/title	选取 bookstore 元素中的 book 元素的所有 title 元素，且其中的 price 元素的值须大于 35.00。

通配符	描述
*	匹配任何元素节点。
@*	匹配任何属性节点。
node()	匹配任何类型的节点。
/bookstore/*	选取 bookstore 元素的所有子元素。
//*	选取文档中的所有元素。
//title[@*]	选取所有带有属性的 title 元素。

选取若干路径表达式	结果
//book/title \| //book/price	选取 book 元素的所有 title 和 price 元素。
//title \| //price	选取文档中的所有 title 和 price 元素。
/bookstore/book/title \| //price	选取属于 bookstore 元素的 book 元素的所有 title 元素，以及文档中所有的 price 元素。

例：

准备要提取的内容

html='''
<?xml version="1.0" encoding="UTF-8"?>
<bookstore>
<book>
        <title lang="eng1">Harry Potter</title>
        <price>29.99</price>
    <div>
        <book>123456</book>
    </div>
</book>

<book>
  <title lang="eng2">Learning XML</title>
  <price>39.95</price>
</book>
<book>3333333333333333</book>
<book>4444444444444444</book>
</bookstore>
'''

1.转换成对象，

提取所有book标签

from scrapy.selector import Selector
selector = Selector(text=html)  #转换成一个对象
print(selector)     #自动添加\<html>\<body>标签
#//book  选取所有book标签
print(selector.xpath('//book'))

2.获取第二个book标签

# 方法一  列表下标
print(selector.xpath('//book')[1])
# 方法二 xpath字符串类，，下标从一开始
#   选取某某内的第一个（只要是第一个都可以）
print(selector.xpath('//book[1]')[1])

#方法三,找父类，再定位指定的位置
print(1,selector.xpath('//div')[0].xpath('./book[1]'))  #返回一个列表
print(2,selector.xpath('//div')[0].xpath('./book[1]')[0])
print(3,selector.xpath('//div')[0].xpath('./book'))
print(4,selector.xpath('//div')[0].xpath('book'))
print(5,selector.xpath('//div')[0].xpath('book')[0])

3. @表示的是某某标签内的属性（<p @>）

print(selector.xpath('//@lang'))
#指定属性
print(selector.xpath('//title[@lang="eng2"]'))

/的使用（绝对路径）

print(selector.xpath('/html/body/bookstore/book/div/book'))
bookstort = selector.xpath('//bookstore')[0]
print(bookstort.xpath('./book/div/book'))

选取最后一个book和倒数第二个book,输出前三个book

print(bookstort.xpath('./book[last()]'))
print(bookstort.xpath('./book[last()-1]'))
#输出前三个(选择相应的位置)
print(bookstort.xpath('./book[position()<4]'))

有纯数字可以按条件选择

print(bookstort.xpath('./book[price>35]'))

选取多个标签

print(bookstort.xpath('//title|//price'))

squabLi

关注

7
点赞
踩
28

收藏

觉得还不错? 一键收藏
0
评论
python爬虫 selector xpath提取网页内容

提取网页内容四大基本方法之3.xpath提取网页内容 selector模块XML 节点选择表达式描述nodename选取此节点的所有子节点。/从根节点选取。//从匹配选择的当前节点选择文档中的节点，而不考虑它们的位置。.选取当前节点。..选取当前节点的父节点。@选取属性。bookstore选取 bookstore 元...
复制链接

扫一扫