xpath基础应用

1.xpath的简单介绍

XPath 是一门在 XML 文档中查找信息的语言。XPath 用于在 XML 文档中通过元素和属性进行导航。

（1）XPath 使用路径表达式在 XML 文档中进行导航
（2）XPath 包含一个标准函数库
（3）XPath 是 XSLT 中的主要元素
（4）XPath 是一个 W3C 标准

2.xpath语法

XPath 使用路径表达式来选取 XML 文档中的节点或节点集。节点是通过沿着路径 (path) 或者步 (steps) 来选取的。

3.节点

在 XPath 中，有七种类型的节点：元素、属性、文本、命名空间、处理指令、注释以及文档（根）节点。XML 文档是被作为节点树来对待的。

4.节点的选取

nodename	选取此节点的所有子节点。
/	从根节点选取。
//	从匹配选择的当前节点选择文档中的节点，而不考虑它们的位置。
.	选取当前节点。
@	选取属性。

通配符
*	                    匹配任何元素节点。
@*	                匹配任何属性节点。
node()	            匹配任何类型的节点。

5.用法

#下载
pip install  lxml
#导入模块
from lxml import etree
#初始化对象
tree=etree.HTML('html文本')

6.案例

#导入xpath相关模块
from lxml import etree
#导入请求模块
import requests
#请求路由
base_url = 'http://www.resgain.net/net_name_tags.html'


def request_url(url):
    # 请求头
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.77 Safari/537.36 Edg/91.0.864.37'
    }
    html = requests.get(url=url,headers=headers)
    content_html = html.content.decode('utf-8')
    #初始化对象
    tree = etree.HTML(content_html)
    return tree

tree = request_url(base_url)
# 标题
list_html = tree.xpath('/html/body/div/div/div/div[@class="col-xs-12"]/a/@href')
print(len(list_html))
#利用xpath查找
name_list = tree.xpath('/html/body/div/div/div/div[@class="col-xs-12"]/a/text()')
index = 0
for i in list_html:
    tree1 = request_url(f'http://www.resgain.net{i}')
    list_detail = tree1.xpath('/html/body/div/div/div/div[@class="col-xs-12"]/div/text()')
    str_name=''
    for t in list_detail:
        t.replace('&nbsp','')
        str_name+=t
        str_name+='/n'
        #写入文件
    with open(f'name_nikename/{name_list[index]}.txt', 'w', encoding='utf-8') as f:
        f.write(str_name)
        index +=1