xpath解析数据

xpath

• XPath (XML Path Language) 是一门在 XML 文档中查找信息的语言，可用来在 XML 文档中对元素和属性进行遍历。

• XML 和 HTML 的区别

  • XML：被设计为传输和存储数据，其焦点是数据的内容。
  • HTML：显示数据以及如何更好显示数据。

• xpath选取节点

  表达式	描述
  /	从根节点选取。
  //	从匹配选择的当前节点选择文档中的节点，而不考虑它们的位置
  .	选取当前节点
  …	选取当前节点的父节点
  @	选取属性

• 谓语（Predicates）

  径表达式	结果
  bookstore/book[1]	选取属于 bookstore 子元素的第一个 book 元素。
  bookstore/book[last()]	选取属于 bookstore 子元素的最后一个 book 元素。
  bookstore/book[last()-1]	选取属于 bookstore 子元素的倒数第二个 book 元素。
  bookstore/book[position() < 3]	选取最前面的两个属于 bookstore 元素的子元素的 book 元素。
  /title[@lang]	选取所有拥有名为 lang 的属性的 title 元素。
  /title[@lang=’eng’]	选取所有 title 元素，且这些元素拥有值为 eng 的 lang 属性。

• xpath使用

  • 1、下载 pip install lxml

  • 2 、导包 from lxml import etree

  • 3、 创建etree对象进行指定数据解析 etree = etree.HTML(html)

    #使用xpath解析数据
        etree_xpath = etree.HTML(response)
        #取出所有class为scores_List的div下边的dl
        dls= etree_xpath.xpath('//div[@class="scores_List"]/dl')
    
    

• 常用的xpath表达式：

#属性定位：

"""找到class属性值为song的div标签"""
//div[@class="song"] 
# 层级&索引定位：

"""找到class属性值为tang的div的直系子标签ul下的第二个子标签li下的直系子标签a"""
//div[@class="tang"]/ul/li[2]/a
#逻辑运算：

"""找到href属性值为空且class属性值为du的a标签"""
//a[@href="" and @class="du"]
# 模糊匹配： //div[contains(@class, "ng")] //div[starts-with(@class, "ta")] 取文本：

""" /表示获取某个标签下的文本内容 """
"""//表示获取某个标签下的文本内容和所有子标签下的文本内容"""
//div[@class="song"]/p[1]/text()
//div[@class="tang"]//text()
# 取属性： //div[@class="tang"]//li[2]/a/@href