2.1-python爬虫之XPath语法和lxml模块

最新推荐文章于 2024-04-24 13:35:29 发布
最新推荐文章于 2024-04-24 13:35:29 发布
阅读量2.2k 收藏
点赞数 1
分类专栏： python爬虫学习笔记 文章标签： python xpath xmlhttp
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43616565/article/details/119850682
版权

系列文章目录

python爬虫目录

文章目录

前言

摘录自B站对应课程笔记
不愧是清华大佬！把Python网络爬虫讲得如此简单明了！从入门到精通保姆级教程（建议收藏）

以下是本篇文章正文内容，下面案例可供参考

一、什么是XPath？

xpath（XML Path Language）是一门在XML和HTML文档中查找信息的语言，可用来在XML和HTML文档中对元素和属性进行遍历。

二、XPath开发工具

  1. Chrome插件XPath Helper。
  2. Firefox插件Try XPath。

三、XPath语法

XPath 使用路径表达式来选取 XML 文档中的节点或者节点集。这些路径表达式和我们在常规的电脑文件系统中看到的表达式非常相似。

1、选取节点

表达式描述示例结果
nodename选取此节点的所有子节点bookstore选取 bookstore 下所有的子节点
/如果是在最前面，代表从根节点选取。否则选择某个节点下的节点/bookstore选取根元素下所有的 bookstore 节点
//从全局节点中选择节点，随便在哪个位置//book从全局节点中找到所有的 book 节点
@选取带有某个属性的节点//book[@price]选择所有拥有 price 属性的 book 节点
.当前节点./a选择当前节点下的a标签

2、谓语

谓语用来查找某个特定的节点或者包含某个指定的值的节点，被嵌在方括号中。
在下面的表格中，我们列出了带有谓语的一些路径表达式，以及表达式的结果：

路径表达式描述
/bookstore/book[1]选取bookstore下的第一个子元素
/bookstore/book[last()]选取bookstore下的最后一个book元素。
bookstore/book[position() < 3]选取bookstore下前面两个子元素。
//book[@price]选取拥有price属性的book元素
//book[@price=10]选取所有属性price等于10的book元素

3、通配符

*表示通配符。

通配符描述示例结果
*匹配任意节点/bookstore/*选取bookstore下的所有子元素。
@*匹配节点中的任何属性//book[@*]选取所有带有属性的book元素。

4、选取多个路径

通过在路径表达式中使用“|”运算符，可以选取若干个路径。示例如下：

//bookstore/book | //book/title
# 选取所有bookstore下的book元素 以及 所有book元素下的title元素

5、运算符

在这里插入图片描述
在这里插入图片描述

例如： //li[@data-index=“0” and @data-companyid=“142381”]

6、总结

使用方式：

使用 // 获取整个页面当中的元素，然后写标签名，然后写谓词进行提取，比如 //div[@class=“abc”]

需要注意的知识点：

1、/ 和 // 的区别：/ 代表只获取直接子节点。// 获取子孙节点。
2、contains:又是某个属性中包含了多个值，那么可以使用contains函数。

例如： //div[contains(@class, "job_detail")]

3、谓词中的下标是从1开始的，不是从0开始的。

四、lxml库

lxml 是 一个HTML/XML的解析器，主要的功能是如何解析和提取 HTML/XML 数据。
lxml和正则一样，也是用 C 实现的，是一款高性能的 Python HTML/XML 解析器，我们可以利用之前学习的XPath语法，来快速的定位特定元素以及节点信息。

lxml python 官方文档：http://lxml.de/index.html

需要安装C语言库，可使用 pip 安装：`

pip install lxml

1、基本使用

我们可以利用他来解析HTML代码，并且在解析HTML代码的时候，如果HTML代码不规范，他会自动的进行补全。示例代码如下：

from lxml import etree
 
text = """
<div>
    <ul>
         <li class="item-0"><a href="link1.html">first item</a></li>
         <li class="item-1"><a href="link2.html">second item</a></li>
         <li class="item-inactive"><a href="link3.html">third item</a></li>
         <li class="item-1"><a href="link4.html">fourth item</a></li>
         <li class="item-0"><a href="link5.html">fifth item</a> # 注意，此处缺少一个 </li> 闭合标签
     </ul>
 </div>
"""
# 利用 etree.HTML 将字符串解析为 HTML 文档
htmlElement = etree.HTML(text)
# etree.tostring(htmlElement, encoding="utf-8") 将字符串序列化为HTML 文档
print(etree.tostring(htmlElement, encoding="utf-8").decode("utf-8"))
"""
<html><body><div>
    <ul>
         <li class="item-0"><a href="link1.html">first item</a></li>
         <li class="item-1"><a href="link2.html">second item</a></li>
         <li class="item-inactive"><a href="link3.html">third item</a></li>
         <li class="item-1"><a href="link4.html">fourth item</a></li>
         <li class="item-0"><a href="link5.html">fifth item</a> # 注意，此处缺少一个 </li> 闭合标签
     </ul>
 </div>
</body></html>
"""
#可以看到。lxml会自动修改HTML代码。例子中不仅补全了li标签，还添加了body，html标签

2、从文件中读取html代码

除了直接使用字符串进行解析，lxml还支持从文件中读取内容。我们新建一个hello.html文件：

<!--hello.html-->
<div>
    <ul>
        <li class="item-0"><a href="link1.html">first item</a></li>
        <li class="item-1"><a href="link2.html">second item</a></li>
        <li class="item-inactive"><a href="link3.html"><span class="bold">third item</span></a></li>
        <li class="item-1"><a href="link4.html">fourth item</a></li>
        <li class="item-0"><a href="link5.html">fifth item</a></li>
    </ul>
</div>

然后利用etree.parse()方法来读取文件。示例代码如下：

    parser = etree.HTMLParser(encoding="utf-8")  # 获取html 解析器
    htmlElement = etree.parse("hello.html", parser=parser)  # 默认是xml 解析器
    print(etree.tostring(htmlElement, encoding="utf-8").decode("utf-8"))

总结
1、解析html 字符串：使用 lxml.etree.HTML 进行解析。示例代码：

htmlElement = etree.HTML(text)
print(etree.tostring(htmlElement, encoding="utf-8").decode("utf-8"))

2、解析hmtl 文件，使用 lxml.etree.parse 进行解析，示例代码如下：

htmlElement = etree.parse("hello.html")  # 默认是xml 解析器
print(etree.tostring(htmlElement, encoding="utf-8").decode("utf-8"))

这个函数默认使用的是 xml 解析器， 所以如果遇到不规范的html 代码就会解析错误，这时候就要自己创建 html解析器

parser = etree.HTMLParser(encoding="utf-8")  # 获取html 解析器
htmlElement = etree.parse("hello.html", parser=parser)  # 默认是xml 解析器
print(etree.tostring(htmlElement, encoding="utf-8").decode("utf-8"))

3、在lxml中使用XPath语法

1、获取所有li标签：

 from lxml import etree
 
 html = etree.parse('hello.html')
 print type(html)  # 显示etree.parse() 返回类型
 result = html.xpath('//li')
 print(result)  # 打印<li>标签的元素集合

2、获取所有li元素下的所有class属性的值：

 from lxml import etree
 
 html = etree.parse('hello.html')
 result = html.xpath('//li/@class')
 print(result)

3、 获取li标签下href为www.baidu.com的a标签：

 from lxml import etree
 
 html = etree.parse('hello.html')
 result = html.xpath('//li/a[@href="www.baidu.com"]')
 print(result)

4、 获取li标签下所有span标签：

 from lxml import etree
 
 html = etree.parse('hello.html')
 
 #result = html.xpath('//li/span')
 #注意这么写是不对的：
 #因为 / 是用来获取子元素的，而 <span> 并不是 <li> 的子元素，所以，要用双斜杠
 
 result = html.xpath('//li//span')
 print(result)

5、 获取li标签下的a标签里的所有class：

 from lxml import etree
 
 html = etree.parse('hello.html')
 result = html.xpath('//li/a//@class')
 print(result)

6、 获取最后一个li的a的href属性对应的值

 from lxml import etree
 
 html = etree.parse('hello.html')
 
 result = html.xpath('//li[last()]/a/@href')
 # 谓语 [last()] 可以找到最后一个元素
 print(result)

7、获取倒数第二个li元素的内容：

 from lxml import etree
 
 html = etree.parse('hello.html')
 result = html.xpath('//li[last()-1]')
 
 # text 方法可以获取元素内容
 print(result[0].text)

8、获取倒数第二个li元素的内容的第二种方式：

 from lxml import etree
 
 html = etree.parse('hello.html')
 result = html.xpath('//li[last()-1]/text()')
 print(result)

总结

1、使用 xpath 语法，应该使用 Element.xpath 方法来执行 xpath 的选择。示例代码如下：
    divs = html.xpath("//div[@class='recruit-list']")
    xpath 函数返回的永远是一个列表
    
2、获取某个标签的属性：
    hrefs = html.xpath("//a[@href]")
    # 获得 a 标签的 href 属性对应的值
    
3、获取文本，是通过 xpath 中的 text() 函数， 示例代码如下：
    address = tr.xpath("./td[4]/text()")[0]
 
4、如果想要某个标签下，再执行 xpath 函数， 获得这个标签下的子孙元素，
    应该在斜杆之前加一个点，代表是在当前元素下获取。示例代码如下：
    address = tr.xpath("./td[4]/text()")[0]

五、爬取豆瓣网最新上映电影信息

import requests
from lxml import etree
 
# 1、将目标网站上的页面抓取下来
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.159 Safari/537.36",
    "Referer": "https://movie.douban.com/cinema/nowplaying/guangzhou/"
}
url = "https://movie.douban.com/cinema/nowplaying/guangzhou/"
resp = requests.get(url=url, headers=headers)
text = resp.content
# 解码方式根据html 设置的编码：<meta http-equiv="Content-Type" content="text/html; charset=utf-8">
# print(text.decode("utf-8"))
 
# 2、将抓取下来的数据根据一定的规则进行提取
html = etree.HTML(text)
ul = html.xpath("//ul[@class='lists']")[0]  # 有两个：1.正在上映，2.即将上映
lis = ul.xpath("./li")
movies = []
for li in lis:
    title = li.xpath("@data-title")[0]
    score = li.xpath("@data-score")[0]
    duration = li.xpath("@data-duration")[0]
    address = li.xpath("@data-region")[0]
    director = li.xpath("@data-director")[0]
    actors = li.xpath("@data-actors")[0]
    img_src = li.xpath(".//img/@src")[0]
    movie = {
        "title": title,  # 电影名
        "score": score,  # 评分
        "duration": duration,  # 时长
        "address": address,  # 国家
        "director": director,  # 导演
        "actors": actors,  # 主演
        "img_scr": img_src  # 图片
    }
    movies.append(movie)
print(movies)

六、使用requests和xpath爬取电影天堂

"""
需求：爬取 电影天堂 最新电影信息
链接：https://dytt8.net/html/gndy/dyzz/index.html
网页手动保存到当前目录：04_dytt.html
"""
 
import requests
from lxml import etree
 
HEADERS = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.119 Safari/537.36",
    "Referer": "https://dytt8.net/html/gndy/dyzz/index.html"
}
BASE_URL = "https://dytt8.net"
 
def get_detail_urls(url):
    """
    根据url获取电影的详情链接
    :param url: 请求的url
    :return: 电影详情信息的url 列表
    """
    resp = requests.get(url=url, headers=HEADERS)
    text = resp.text
    html = etree.HTML(text)
    # 用最快速的方法找到电影详情的链接，通过 table 的 class=tbspan 快速定位
    detail_urls = html.xpath("//table[@class='tbspan']//a/@href")
    detail_urls = list(map(lambda url: BASE_URL + url, detail_urls))  # 将map对象转换成list
    return detail_urls
 
def get_detail_page(url):
    movie = {}  # 保存电影信息
    resp = requests.get(url=url, headers=HEADERS)
    try:
        text = resp.content.decode("gb2312")  # 有无法解析的字符
    except UnicodeDecodeError as e:
        print("出现无法解析的符号,直接跳过")
        return None
    # text = resp.text
    html = etree.HTML(text)
    # 查询电影名称
    title = html.xpath("//div[@class='title_all']//font[@color='#07519a']/text()")[0]
    movie["title"] = title
 
    # 其他信息在 id="Zoom" 的div里面
    zoomEle = html.xpath("//div[@id='Zoom']")[0]
    imgs = zoomEle.xpath("//img/@src")
    cover = imgs[0]
    screenshot = imgs[1]
    movie["cover"] = cover  # 电影图片链接
    movie["screenshot"] = screenshot
 
    def parse_info(rule, info):
        return info.replace(rule, "").strip()
 
    infos = zoomEle.xpath(".//text()")
    for index,info in enumerate(infos):
        if info.startswith("◎片　　名"):
            name = parse_info("◎片　　名", info)
            movie["name"] = name
        elif info.startswith("◎年　　代"):
            year = parse_info("◎年　　代", info)
            movie["year"] = year
        elif info.startswith("◎产　　地"):
            address = parse_info("◎产　　地", info)
            movie["address"] = address
        elif info.startswith("◎类　　别"):
            category = parse_info("◎类　　别", info)
            movie["category"] = category
        elif info.startswith("◎语　　言"):
            language = parse_info("◎语　　言", info)
            movie["language"] = language
        elif info.startswith("◎豆瓣评分"):
            rating = parse_info("◎豆瓣评分", info)
            movie["rating"] = rating
        elif info.startswith("◎片　　长"):
            duration = parse_info("◎片　　长", info)
            movie["duration"] = duration
        elif info.startswith("◎导　　演"):
            movie["director"] = parse_info("◎导　　演", info)
        elif info.startswith("◎主　　演"):
            actor = parse_info("◎主　　演", info)
            actors = [actor]
            for i in range(index+1, len(infos)):
                if infos[i].startswith("◎标　　签"):
                    break
                actors.append(infos[i].strip())
            movie["actors"] = actors
        elif info.startswith("◎标　　签"):
            movie["director"] = parse_info("◎标　　签", info)
        elif info.startswith("◎简　　介"):
            profile = ""
            for i in range(index+1, len(infos)):
                if infos[i].startswith("磁力链"):break
                profile += infos[i].strip()
            movie['profile'] = profile
 
    link = zoomEle.xpath(".//a/@href")[0]
    movie['link'] = link
    return movie
 
 
def spider():
    movies = []
    url = "https://dytt8.net/html/gndy/dyzz/list_23_{}.html"
    # 获取7页的电影信息
    for i in range(1, 8):  # 循环获取所有电影详情链接
        url = url.format(i)
        detail_urls = get_detail_urls(url)
        print(detail_urls)
        for detail_url in detail_urls:  # 循环获取电影信息
            movie = get_detail_page(detail_url)
            movies.append(movie)
            print(movie)
 
    # # 先用第一页测试
    # url = "https://dytt8.net/html/gndy/dyzz/list_23_1.html"
    # detail_urls = get_detail_urls(url)
    # for detail_url in detail_urls:
    #     movie = get_detail_page(detail_url)
    #     movies.append(movie)
    #     # print(movie)
    #     break
 
if __name__ == '__main__':
    spider()
Nosimper
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
Python爬虫基础之XPath语法与lxml库的用法详解
12-23
本来打算写的标题是XPath语法，但是想了一下Python中的解析库lxml，使用的是Xpath语法，同样也是效率比较高的解析方法，所以就写成了XPath语法和lxml库的用法 XPath 即为 XML 路径语言，它是一种用来确定 XML（标准...
Python爬虫之XPath语法和lxml模块
屈帅波的技术博客
11-14 927
一 XPath 1.简介 xpath（XML Path Language）是一门在XML和HTML文档中查找信息的语言，可用来在XML和HTML文档中对元素和属性进行遍历。 2.工具 Chrome插件XPath Helper。 Firefox插件Try XPath。 3.XPath语法 （1）选取节点 XPath 使用路径表达式来选取 XML 文档中的节点或者节点集。这些路径表达式和我们在常规的电脑文件系统中看到的表达式非常相似。 表达式 描述 示例 结果 nodename 选取此节点的所有
Python3爬虫之XPath语法和lxml模块
JunsIr的技术栈
10-15 628
Python3爬虫之XPath语法和lxml模块 基本介绍 在从目标网站获得我们像要的数据后，我们需要从全站html中提取我们像要的数据，提取工具有（任选一种） XPath+lxml库（√） 美丽汤4（beautifulsoup4） 正则表达式 xpath（XML路径语言）是一门在XML和HTML文档中查找信息的语言，可用于XML和HTML文档中对元素和属性进行遍历。 基本知识 学习xpath...
python xpath语法-Python爬虫之XPath语法和lxml库的用法
weixin_37988176的博客
11-01 88
本来打算写的标题是XPath语法，但是想了一下Python中的解析库lxml，使用的是Xpath语法，同样也是效率比较高的解析方法，所以就写成了XPath语法和lxml库的用法安装为什么要用这个库呢，因为要写爬虫啊，利用lxml库来解析 HTML 代码，同时lxml也继承了libxml2的特性自动修正HTML代码，利用pip安装即可pip install lxmlXPath语法XPath是一门在X...
python_爬虫 05 XPath语法和lxml模块
qq_30346413的博客
06-02 734
一、什么是XPath？ xpath（XML Path Language）是一门在XML和HTML文档中查找信息的语言，可用来在XML和HTML文档中对元素和属性进行遍历。 二、XPath开发工具 Chrome插件XPath Helper。 Firefox插件Try XPath。 三、XPath语法 XPath 使用路径表达式来选取 XML 文档中的节点或者节点集。这些路径表达式和我们在常规的电脑文件系统中看到的表达式非常相似。 1、选取节点 表达式 描述 示例 ...
【爬虫学得好，基础少不了】：XPath语法和lxml模块(详解)
12-21
5.4 步的语法：5.5 实例六、XPath 运算符6.1 XPath 表达式中常用运算符七、XPath其他7.1 使用方式：7.2 需要注意的知识点：八、lxml库8.1 基本使用：8.2 从文件中读取html代码：8.3 在lxml中使用xpath语法8.4 代码...
python爬虫之xpath的基本使用详解
09-20
本篇文章主要介绍了python爬虫之xpath的基本使用详解，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧
Python爬虫解析XPATH讲义
06-06
Python爬虫解析XPATH讲义
Ansible 指定受控端使用Python的版本
shijin741231的博客
04-20 545
最近在装Ansible，有一台受控端Ubuntu16的服务器，安装了Python2.7.12和Pyhon3.5。当用Ansible连接它时，显示使用的是Python3.5。最后看文档，发现Ansible可以在hosts的文件中指定受控服上运行的Python。
【编译程序介绍】
武帝为此的博客
04-22 1159
简单来说，编译程序是一个软件，它读取用某种编程语言编写的源代码，分析并转换成等效的、可执行的机器语言代码。这个过程涉及多个复杂的步骤，包括语法分析、语义分析、代码优化和代码生成等。
[python3] 读取一个正在更新的日志文件
最新发布
言之。
04-24 208
等同于–follow=name --retry，根据文件名进行追踪，并保持重试，即该文件被删除或改名后，如果再次创建相同的文件名，会继续追踪。这两种方法都会持续监听日志文件的变化，并实时读取新增的日志内容。你可以根据实际需求选择其中一种方法。要读取一个正在更新的日志文件（即实时写入的日志文件），你可以使用 Python 的。的技巧来实现实时读取。函数打开文件，并使用。
【算法设计与分析】最近点对问题蛮力法破解及可视化绘图显示
FellAveal的博客
04-20 1113
难点在于多线程的学习以及可视化的操作，由于对Python的多线程不熟悉，多少也走了一些弯路。其中关键部分是通过线程间通讯传递所要可视化展示的点和连线。本文针对本课程内容上机实验一进行预习，通过python的matplotlib库提供一个可能的可视化显示代码运算的方式。（很明显是因为Python画图方便才使用的，算法还是建议用C/C++来进行实现）蛮力法的代码实现很简单，遍历数对，找到最近的点。文尽于此，本文使用Markdown编辑。由于之前便已经发觉到了。Python画图的优势。正在计算的两个点的序号。
python requests几点代理相关
i_9420的博客
04-19 515
1，很多人，包括我，应该只知道requests默认只是支持http代理，有没密码验证都一样。但是，其实呢，最新的requests已经支持 sock5 代理了，也支持密码认证；3，另外，request 现在可以使用all 参数，指定代理的所有类型，不需要像上面的那样，每个类型都指定一次。2，如果要让requests支持 sock5代理，需要导入第三方库，是不是越来越方便了呢。
实现自定义注解、实现自定义幂等性注解
qq_44721738的博客
04-23 465
添加 Spring AOP 依赖。创建自定义注解。创建一个新的 Java 注解类，通过@interface关键字来定义，并可以添加元注解以及属性。@Target(ElementType.METHOD) //表示作用于方法上@Retention(RetentionPolicy.RUNTIME) // 表示这个注解在运行时是可见的，这样 AOP 代理才能在运行时读取到这个注解编写 AOP 拦截（自定义注解）的逻辑代码。@Aspect@Component// 方法执行前的处理。
Pandas 2.2 中文官方教程和指南（十五）
龙哥盟
04-24 491
原文：pandas.pydata.org/docs/ 处理文本数据 原文：pandas.pydata.org/docs/user_guide/text.html 文本数据类型 在 pandas 中有两种存储文本数据的方式： object -dtype NumPy 数组。 StringDtype 扩展类型。 我们建议使用StringDtype来存储文本数据。 在 pandas 1.0 之前，object dtype 是唯一的选项。这在很多方面都是不幸的： 你可能会在object dty
[SWPUCTF 2021 新生赛]re2（不同字符加密相同，逆向修改范围）
2301_79326813的博客
04-23 142
无壳直接看ida。
python数据分析pyecharts【饼状图、直方图、词云、地图】
QAZWCC的博客
04-20 417
【代码】python数据分析pyecharts【饼状图、直方图、词云、地图】
re.findall-Python字符过滤（前程无忧薪资字符过滤）
一个后端菜鸟的博客
04-20 286
【代码】re.findall-Python字符过滤（前程无忧薪资字符过滤）
python 爬虫写多个xpath语法，供爬虫程序选择 的逻辑
05-30
在爬虫程序中，可以将多个 XPath 语法存储在一个列表中，然后通过遍历列表的方式进行选择。例如： ```python import requests from lxml import etree url = 'http://example.com' xpath_list = [ '//div[@class=...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Nosimper

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值