Python 使用 lxml 库解析 HTML

最新推荐文章于 2024-02-11 21:22:44 发布

枫林wan

最新推荐文章于 2024-02-11 21:22:44 发布

阅读量3.8k

点赞数

分类专栏： Python3 文章标签： python html 爬虫

本文链接：https://blog.csdn.net/alexliu0725/article/details/111241044

版权

Python3 专栏收录该内容

1 篇文章 0 订阅

订阅专栏

python 爬虫中，必然会接触到 HTML 解析。 lxml是一个Python库，使用它可以轻松处理XML和HTML文件，还可以用于web爬取。市面上有很多现成的XML解析器，但是为了获得更好的结果，开发人员有时更愿意编写自己的XML和HTML解析器。这时lxml库就派上用场了。这个库的主要优点是易于使用，在解析大型文档时速度非常快，归档的也非常好，并且提供了简单的转换方法来将数据转换为Python数据类型，从而使文件操作更容易。

资料

本示例只介绍了一些常用的示例，更多的请参考官方文档.

安装

pip install lxml

简单示例


from lxml import etree

html = '''
<html>
　　<head>
　　　　<meta name="content-type" content="text/html; charset=utf-8" />
　　　　<title>Test</title>
　　</head>
　　<body>
　　　　<a href="http://a.domain.com" customer_attr="abc" target="_blank">A_site</a>
　　　　<a href="http://b.domain.com" target="_blank">B_site</a>
　　　　<a href="http://c.domain.com" target="_blank">C_site</a>
　　　　<a href="http://d.domain.com" target="_blank">D_site</a>
　　　　<a href="http://e.domain.com" target="_blank">E_site</a>
　　</body>
</html>

'''

html = etree.HTML(html.lower().decode('utf-8'))
a_links = html.xpath("//a")  # 查找所有 a 标签 //a 代表 html 下所有 a
for a_link in a_links:
    print("*"*30)
    print(a_link.attrib)      # 获取属性
    print(a_link.text)        # 获取 a 标签 text

# 输出结果
******************************
{'href': 'http://a.domain.com', 'target': '_blank', 'customer_attr': 'abc'}
A_site
******************************
{'href': 'http://b.domain.com', 'target': '_blank'}
B_site
******************************
{'href': 'http://c.domain.com', 'target': '_blank'}
C_site
******************************
{'href': 'http://d.domain.com', 'target': '_blank'}
D_site
******************************
{'href': 'http://e.domain.com', 'target': '_blank'}
E_site

XPATH

XPATH 基本上是用一种类似目录树的方法来描述在XML文档中的路径。用 “/” 来作为上下层级间的分隔。第一个 “/” 表示文档的根节点。对于一个 HTML 文件来说，最外层的节点是 “/html”


from lxml import etree

html = '''
<html>
　　<head>
　　　　<meta name="content-type" content="text/html; charset=utf-8" />
　　　　<title>Test</title>
　　</head>
　　<body>
　　　　<h1>I am h1 html</h1>
　　　　<p style="font-size: 50%">Hello World</p>
　　　　<p>Hello World 2</p>
　　</body>
</html>

'''

通过绝对路径查找


html = etree.HTML(html.lower().decode('utf-8'))
# 找到 html 下 body 内的 p 。 注意 xpath 返回的不一定唯一的，是符合要求的所有节点
# 也可用用 //p 查找 html 下所有 p
p_tags = html.xpath("/html/body/p")  
for p_tag in p_tags:
    print("*"*30)
    # p_tag 是一个 lxml.etree._Element 对象
    print(p_tag.text)               # 获取文本内容
    print(a_link.values())          # 获取所有属性值

# 输出结果
******************************
Hello World
font-size: 50%
******************************
Hello World 2

通过属性查找

html = etree.HTML(html.lower().decode('utf-8'))
p_tag = html.xpath("/html/body/p[@style='font-size: 50%']")
#或者
p_tag = html.xpath("//p[@style='font-size: 50%']")

其他属性有:

@name
@id
@value
@href
@src
@class
text()
- html.xpath("//p[text()='Hello World']")
postion()
- html.xpath("//p[position()=2]") 获取第二个 p 节点

任意中间节点

用 * 号

html = etree.HTML(html.lower().decode('utf-8'))
p_tag = html.xpath("/html/*/p[@style='font-size: 50%']")
# 加 * 号 不管 html 到 p 中间有多少层，不管当前 p 的上一级是 div 还是什么，都会被查找出来

用 descendant

# descendant 指代任意多层的中间节点, 它可以省略成一个 '/' 号
html = etree.HTML(html.lower().decode('utf-8'))
p_tag = html.xpath("/descendant::p")
# 等同于 p_tag = html.xpath("//p")

枫林wan

关注

0
点赞
踩
4

收藏

觉得还不错? 一键收藏
0
评论
Python 使用 lxml 库解析 HTML

目录资料安装简单示例XPATH通过绝对路径查找通过属性查找任意中间节点用 * 号用 descendantpython 爬虫中，必然会接触到 HTML 解析。 lxml是一个Python库，使用它可以轻松处理XML和HTML文件，还可以用于web爬取。市面上有很多现成的XML解析器，但是为了获得更好的结果，开发人员有时更愿意编写自己的XML和HTML解析器。这时lxml库就派上用场了。这个库的主要优点是易于使用，在解析大型文档时速度非常快，归档的也非常好，并且提供了简单的转换方法来将数据转换为Python数
复制链接

扫一扫