Python 网络抓取和文本挖掘 - 3 XPath_requests xpath python3 提取文本-CSDN博客

本文链接：https://blog.csdn.net/hjh00/article/details/55027430

XPath 是一种查询语言，用于在HTML/XML文档中定位和提取一些片段。XPath也是一个W3C标准。XPath只能处理DOM，所以必须先将HTML或XML文档加载解析成DOM。在Python中可以用lxml保的etree来执行DOM解析和XPath查询。

1. 示例文件

<!DOCTYPE HTML PUBLIC "-//IETF//DTD HTML//EN">
<html> <head>
<title>Collected R wisdoms</title>
</head>

<body>
<div id="R Inventor" lang="english" date="June/2003">
  <h1>Robert Gentleman</h1>
  <p><i>'What we have is nice, but we need something very different'</i></p>
  <p><b>Source: </b>Statistical Computing 2003, Reisensburg</p>
</div>

<div lang="english" date="October/2011">
  <h1>Rolf Turner</h1>
  <p><i>'R is wonderful, but it cannot work magic'</i> <br><emph>answering a request for automatic generation of 'data from a known mean and 95% CI'</emph></p>
  <p><b>Source: </b><a href="https://stat.ethz.ch/mailman/listinfo/r-help">R-help</a></p>
</div>

<address><a href="http://www.r-datacollectionbook.com"><i>The book homepage</i><a/></address>

</body> </html>

2. 文件的DOM结构

3. xpath路径

对于HTML文档，可以用到达该节点的顺序来描述它的位置，如示例文件中<i>元素，它的XPath为"/html/body/div/p/i"，提取该文档<i>节点数据，这个是绝对路径，可以匹配到两条数据；另外可以使用相对路径，如"//i" 这样可以匹配到三条数据，//表示可以从某个路径开始，这条相对路径效率比较低，会导致对文档树进行完全遍历。python代码如下：

f = open("fortunes.html", "r")
    content = f.read()
    f.close()
    html = et.HTML(content)

    elements = html.xpath('/html/body/div/p/i')
    for ele in elements:
        print ele.text

    print ""
    
    elements = html.xpath('//i')
    for ele in elements:
        print ele.text

4. 用节点关系构建XPath

利用这个特性构建XPath的语法为：node1/relation::node2，同样上述html文档，用这个语句就可以构造一个XPath来提取第2个<div>下的<i>元素。

语句为: //a/acenstor::div//i 表示这条路径中的i是一个div后代，同时这个div又是一个a的祖先，从文档树的结构看，只有第2个div具备这个特性。

XPath 轴用来表示的节点与上下文节点之间的关系，如图所示。

4. XPath谓语

谓语是能针对节点的名字、值或属性进行调用的简单函数，这些函数会对某个条件（或一组条件）是true还是false进行判断。结果为true的那些节点会被选中。

XPath谓语的语法：node[predicate]

数字谓语，利用文档中的数字属性，如计数或位置，创建条件语句，如：'//div/p[position()=1]’ 返回第一个位置的<p>

文本谓语，根据文档中元素的名字、内容、属性或属性值中的文本选取节点，如 '//div[@date="october/2011]"'

5. 提取节点元素

在python中用lxml可以方便的获得元素的标签名、内容t和属性，分别对应的是lxml.etree._Element类的tag、text属性和items()方法。

if __name__ == '__main__':
    f = open("fortunes.html", "r")
    content = f.read()
    f.close()
    html = et.HTML(content)

    elements = html.xpath('//')
    for ele in elements:
        print type(ele)
        print ele.tag
        print ele.items()

此外，关于正则表达式、http、sql和ajax的相关知识就跳过，这些以前都接触过。