python3 lxml解析html_Python 使用 lxml 库解析 HTML

python 爬虫中，必然会接触到 HTML 解析。 lxml是一个Python库，使用它可以轻松处理XML和HTML文件，还可以用于web爬取。市面上有很多现成的XML解析器，但是为了获得更好的结果，开发人员有时更愿意编写自己的XML和HTML解析器。这时lxml库就派上用场了。这个库的主要优点是易于使用，在解析大型文档时速度非常快，归档的也非常好，并且提供了简单的转换方法来将数据转换为Python数据类型，从而使文件操作更容易。

资料

本示例只介绍了一些常用的示例，更多的请参考官方文档.

安装

pip install lxml

简单示例

from lxml import etree

html = '''

Test

A_site

B_site

C_site

D_site

E_site

'''

html = etree.HTML(html.lower().decode('utf-8'))

a_links = html.xpath("//a") # 查找所有 a 标签 //a 代表 html 下所有 a

for a_link in a_links:

print("*"*30)

print(a_link.attrib) # 获取属性

print(a_link.text) # 获取 a 标签 text

# 输出结果

******************************

{'href': 'http://a.domain.com', 'target': '_blank', 'customer_attr': 'abc'}

A_site

******************************

{'href': 'http://b.domain.com', 'target': '_blank'}

B_site

******************************

{'href': 'http://c.domain.com', 'target': '_blank'}

C_site

******************************

{'href': 'http://d.domain.com', 'target': '_blank'}

D_site

******************************

{'href': 'http://e.domain.com', 'target': '_blank'}

E_site

XPATH

XPATH 基本上是用一种类似目录树的方法来描述在XML文档中的路径。用 "/" 来作为上下层级间的分隔。第一个 "/" 表示文档的根节点。对于一个 HTML 文件来说，最外层的节点是 "/html"

from lxml import etree

html = '''

Test

I am h1 html

Hello World

Hello World 2

'''

通过绝对路径查找

html = etree.HTML(html.lower().decode('utf-8'))

# 找到 html 下 body 内的 p 。 注意 xpath 返回的不一定唯一的，是符合要求的所有节点

# 也可用用 //p 查找 html 下所有 p

p_tags = html.xpath("/html/body/p")

for p_tag in p_tags:

print("*"*30)

# p_tag 是一个 lxml.etree._Element 对象

print(p_tag.text) # 获取文本内容

print(a_link.values()) # 获取所有属性值

# 输出结果

******************************

Hello World

font-size: 50%

******************************

Hello World 2

通过属性查找

html = etree.HTML(html.lower().decode('utf-8'))

p_tag = html.xpath("/html/body/p[@style='font-size: 50%']")

#或者

p_tag = html.xpath("//p[@style='font-size: 50%']")

其他属性有:

@class

text()

html.xpath("//p[text()='Hello World']")

postion()

html.xpath("//p[position()=2]") 获取第二个 p 节点

任意中间节点

用 * 号

html = etree.HTML(html.lower().decode('utf-8'))

p_tag = html.xpath("/html/*/p[@style='font-size: 50%']")

# 加 * 号 不管 html 到 p 中间有多少层，不管当前 p 的上一级是 div 还是什么，都会被查找出来

用 descendant

# descendant 指代任意多层的中间节点, 它可以省略成一个 '/' 号

html = etree.HTML(html.lower().decode('utf-8'))

p_tag = html.xpath("/descendant::p")

# 等同于 p_tag = html.xpath("//p")