python 爬虫Xpath（三）

Xpath

XPath 是一门在 XML 文档中查找信息的语言。XPath 可用来在 XML 文档中对元素和属性进行遍历。

• XPath 使用路径表达式来选取 XML文档中的节点或者节点集。这些路径表达式和我们在常规的电脑文件系统中看到的表达式非常相似。

• XPath 含有超过 100 个内建的函数。这些函数用于字符串值、数值、日期和时间比较、节点和 QName 处理、序列处理、逻辑值等等。

• 在 XPath 中，有七种类型的节点：元素、属性、文本、命名空间、处理指令、注释以及文档节点（或称为根节点）。

XMl一些概念

• 基本值（或称原子值，Atomic value）是无父或无子的节点。
• 父（Parent）每个元素以及属性都有一个父。
• 子（Children） 元素节点可有零个、一个或多个子。
• 同胞（Sibling）拥有相同的父的节点
• 先辈（Ancestor）某节点的父、父的父，等等。
• 后代（Descendant）某个节点的子，子的子，等等。

需要注意的是，IE浏览器与目前市面上的主流浏览器的处理方式并不一样：

实战

使用xpath提取丁香园论坛的回复内容。丁香园直通点晕厥待查——请教各位同仁

from bs4 import BeautifulSoup
import requests
from lxml import etree

class getUrl(object):
    def __init__(self):
        self.headers={
            "Connection":"keep-alive",
            "User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:68.0) Gecko/20100101 Firefox/68.0",
            "Accept":"text/css,*/*;q=0.1",
            "Accept-Encoding":"gzip, deflate",
            "Accept-Language":"zh-CN,zh;q=0.8,zh-TW;q=0.7,zh-HK;q=0.5,en-US;q=0.3,en;q=0.2"
        }
    def run(self):
        url = "http://www.dxy.cn/bbs/thread/626626#626626"
        req = requests.get(url,headers=self.headers)
        html = req.text
        tree = etree.HTML(html)
        '''
            etree.HTML():构造了一个XPath解析对象并对HTML文本进行自动修正。
            etree.tostring()：输出修正后的结果，类型是bytes
        '''
        user = tree.xpath('//div[@class="auth"]/a/text()')
        comment = tree.xpath('//td[@class="postbody"]')
        result = []
        for i in range(0,len(user)):
            print(user[i].strip()+":"+comment[i].xpath('string(.)').strip())
            print("-"*80)

if __name__ == '__main__':
    getUrl = getUrl()
    getUrl.run()

结果如下：

参考

Xpath教程
学习xpath，使用lxml+xpath提取内容