python lxml用法详解_Python-- lxml用法

目录

lxml库(lxml安装可查看上一篇文章)

Element类

1、节点操作

2、属性操作

3、文本操作

4、文件解析与输出

5、ElementPath

6、案例(尤其最后的一篇代码)

lxml库(lxml安装可查看上一篇文章)

python的HTML/XML的解析器

官方文档：   http://lxml.de/index.html

功能：

解析HTML

文件读取

etree和XPath的配合使用

围绕三个问题:

问题1：有一个XML文件，如何解析

问题2：解析后，如果查找、定位某个标签

问题3：定位后如何操作标签，比如访问属性、文本内容等

导入模块，该库常用的XML处理功能都在lxml.etree中

from lxml import etree

Element类

Element是XML处理的核心类，Element对象可以直观的理解为XML的节点，大部分XML节点的处理都是围绕该类进行的。这部分包括三个内容：节点的操作、节点属性的操作、节点内文本的操作。

1、节点操作

1、创建Element对象

使用Element方法，参数即节点名称。

>>> root = etree.Element('root')

>>> print(root)

2、获取节点名称

使用tag属性，获取节点的名称。

>>> print(root.tag)

root

3、输出XML内容

使用tostring方法输出XML内容，参数为Element对象。

>>> print(etree.tostring(root))

b''

4、添加子节点

使用SubElement方法创建子节点，第一个参数为父节点(Element对象)，第二个参数为子节点名称。

>>> child1 = etree.SubElement(root, 'child1')

>>> child2 = etree.SubElement(root, 'child2')

>>> child3 = etree.SubElement(root, 'child3')

5、删除子节点

使用remove方法删除指定节点，参数为Element对象。clear方法清空所有节点。

>>> root.remove(child1) # 删除指定子节点

>>> print(etree.tostring(root))

b''

>>> root.clear() # 清除所有子节点

>>> print(etree.tostring(root))

b''

6、以列表的方式操作子节点

可以将Element对象的子节点视为列表进行各种操作：

>>> child = root[0] # 下标访问

>>> print(child.tag)

child1

>>> print(len(root)) # 子节点数量

3

>>> root.index(child2) # 获取索引号

1

>>> for child in root: # 遍历

... print(child.tag)

child1

child2

child3

>>> root.insert(0, etree.Element('child0')) # 插入

>>> start = root[:1] # 切片

>>> end = root[-1:]

>>> print(start[0].tag)

child0

>>> print(end[0].tag)

child3

>>> root.append( etree.Element('child4') ) # 尾部添加

>>> print(etree.tostring(root))

b''

7、获取父节点

使用getparent方法可以获取父节点。

>>> print(child1.getparent().tag)

root

2、属性操作

属性是以key-value的方式存储的，就像字典一样。

1、创建属性

可以在创建Element对象时同步创建属性，第二个参数即为属性名和属性值：

>>> root = etree.Element('root', interesting='totally')

>>> print(etree.tostring(root))

b''

也可以使用set方法给已有的Element对象添加属性，两个参数分别为属性名和属性值：

>>> root.set('hello', 'Huhu')

>>> print(etree.tostring(root))

b''

2、获取属性

属性是以key-value的方式存储的，就像字典一样。直接看例子

# get方法获得某一个属性值

>>> print(root.get('interesting'))

totally

# keys方法获取所有的属性名

>>> sorted(root.keys())

['hello', 'interesting']

# items方法获取所有的键值对

>>> for name, value in sorted(root.items()):

... print('%s = %r' % (name, value))

hello = 'Huhu'

interesting = 'totally'

也可以用attrib属性一次拿到所有的属性及属性值存于字典中：

>>> attributes = root.attrib

>>> print(attributes)

{'interesting': 'totally', 'hello': 'Huhu'}

>>> attributes['good'] = 'Bye' # 字典的修改影响节点

>>> print(root.get('good'))

Bye

3、文本操作

标签及标签的属性操作介绍完了，最后就剩下标签内的文本了。可以使用text和tail属性、或XPath的方式来访问文本内容。

1、text和tail属性

一般情况，可以用Element的text属性访问标签的文本。

>>> root = etree.Element('root')

>>> root.text = 'Hello, World!'

>>> print(root.text)

Hello, World!

>>> print(etree.tostring(root))

b'Hello, World!'```

XML的标签一般是成对出现的，有开有关，但像HTML则可能出现单一的标签，如下面这段代码中的`
`

`

Text
Tail`

Element类提供了tail属性支持单一标签的文本获取。

```python

>>> html = etree.Element('html')

>>> body = etree.SubElement(html, 'body')

>>> body.text = 'Text'

>>> print(etree.tostring(html))

b'

Text'

>>> br = etree.SubElement(body, 'br')

>>> print(etree.tostring(html))

b'

Text
'

# tail仅在该标签后面追加文本

>>> br.tail = 'Tail'

>>> print(etree.tostring(br))

b'
Tail'

>>> print(etree.tostring(html))

b'

Text
Tail'

# tostring方法增加method参数，过滤单一标签，输出全部文本

>>> print(etree.tostring(html, method='text'))

b'TextTail'

2、XPath方式

# 方式一：过滤单一标签，返回文本

>>> print(html.xpath('string()'))

TextTail

# 方式二：返回列表，以单一标签为分隔

>>> print(html.xpath('//text()'))

['Text', 'Tail']

方法二获得的列表，每个元素都会带上它所属节点及文本类型信息，如下：

>>> texts = html.xpath('//text()'))

>>> print(texts[0])

Text

# 所属节点

>>> parent = texts[0].getparent()

>>> print(parent.tag)

body

>>> print(texts[1], texts[1].getparent().tag)

Tail br

# 文本类型：是普通文本还是tail文本

>>> print(texts[0].is_text)

True

>>> print(texts[1].is_text)

False

>>> print(texts[1].is_tail)

True

4、文件解析与输出

这部分讲述如何将XML文件解析为Element对象，以及如何将Element对象输出为XML文件。

1. 文件解析

文件解析常用的有fromstring、XML和HTML三个方法。接受的参数都是字符串。

>>> xml_data = 'data'

# fromstring方法

>>> root1 = etree.fromstring(xml_data)

>>> print(root1.tag)

root

>>> print(etree.tostring(root1))

b'data'

# XML方法，与fromstring方法基本一样

>>> root2 = etree.XML(xml_data)

>>> print(root2.tag)

root

>>> print(etree.tostring(root2))

b'data'

# HTML方法，如果没有和

标签，会自动补上

>>> root3 = etree.HTML(xml_data)

>>> print(root3.tag)

html

>>> print(etree.tostring(root3))

b'

data'

2. 输出

输出其实就是前面一直在用的tostring方法了，这里补充xml_declaration和encoding两个参数，前者是XML声明，后者是指定编码。

>>> root = etree.XML('')

>>> print(etree.tostring(root))

b''

# XML声明

>>> print(etree.tostring(root, xml_declaration=True))

b"<?xml version='1.0' encoding='ASCII'?>\n"

# 指定编码

>>> print(etree.tostring(root, encoding='iso-8859-1'))

b"<?xml version='1.0' encoding='iso-8859-1'?>\n"

5、ElementPath

讲ElementPath前，需要引入ElementTree类，一个ElementTree对象可理解为一个完整的XML树，每个节点都是一个Element对象。而ElementPath则相当于XML中的XPath。用于搜索和定位Element元素。

这里介绍两个常用方法，可以满足大部分搜索、查询需求，它们的参数都是XPath语句(关于XPath的学习可以查看我之前的一片文章)：

findall()：返回所有匹配的元素，返回列表

find()：返回匹配到的第一个元素

>>> root = etree.XML("aText")

# 查找第一个b标签

>>> print(root.find('b'))

None

>>> print(root.find('a').tag)

a

# 查找所有b标签，返回Element对象组成的列表

>>> [ b.tag for b in root.findall('.//b') ]

['b', 'b']

# 根据属性查询

>>> print(root.findall('.//a[@x]')[0].tag)

a

>>> print(root.findall('.//a[@y]'))

[]

以上内容大多来自此原文：Python lxml教程-SKYue

6、案例(尤其最后的一篇代码)

解析HTML,案例1.py

文件读取，案例2.html, 案例2.py

etree和XPath的配合使用, 案例3.py

案例1.py

'''

安装lxml

'''

from lxml import etree

'''

用lxml来解析HTML代码

'''

text = '''

• first item
• first item
• first item
• first item
• first item
• first item

'''

# 利用etree.HTML把字符串解析成HTML文档

html = etree.HTML(text)

s = etree.tostring(html)

print(s)

案例2.html

Everyday Italian

Gidada De

2018

23

Python is Python

Food War

2008

83

Running

Klaus Kuka

2010

43

案例2.py

from lxml import etree

# 只能读取xml格式内容，html报错

html = etree.parse("./v30.html")

rst = etree.tostring(html, pretty_print=True)

print(rst)

案例3.py

from lxml import etree

# 只能读取xml格式内容，html报错

html = etree.parse("./v30.html")

print(type(html))

rst = html.xpath('//book')

print(type(rst))

print(rst)

# xpath的意识是，查找带有category属性值为sport的book元素

rst = html.xpath('//book[@category="sport"]')

print(type(rst))

print(rst)

# xpath的意识是，查找带有category属性值为sport的book元素下的year元素

rst = html.xpath('//book[@category="sport"]/year')

rst = rst[0]

print(type(rst))

print(rst.tag)

print(rst.text)

目前有很多xml,html文档的parser,如标准库的xml.etree , beautifulsoup  ,  还有lxml. 都用下来感觉lxml不错,速度也还行,就他了.

围绕三个问题:

问题1：有一个XML文件，如何解析

问题2：解析后，如果查找、定位某个标签

问题3：定位后如何操作标签，比如访问属性、文本内容等

这些操作应该算是比较基础的,还可以自己在网上查找相关教程,官网更详细一点,进阶xpath语法,要在以后操作xml文件和html文件用上.

#!/usr/bin/python

# coding=utf-8

# __author__='dahu'

#

'''

Element是XML处理的核心类，

Element对象可以直观的理解为XML的节点，大部分XML节点的处理都是围绕该类进行的。

这部分包括三个内容：节点的操作、节点属性的操作、节点内文本的操作。

'''

from lxml import etree

# 1.创建element

root = etree.Element('root')

print root, root.tag

# 2.添加子节点

child1 = etree.SubElement(root, 'child1')

child2 = etree.SubElement(root, 'child2')

# 3.删除子节点

# root.remove(child2)

# 4.删除所有子节点

# root.clear()

# 5.以列表的方式操作子节点

print(len(root))

print root.index(child1) # 索引号

root.insert(0, etree.Element('child3')) # 按位置插入

root.append(etree.Element('child4')) # 尾部添加

# 6.获取父节点

print(child1.getparent().tag)

# print root[0].getparent().tag #用列表获取子节点,再获取父节点

'''以上都是节点操作'''

# 7.创建属性

# root.set('hello', 'dahu') #set(属性名,属性值)

# root.set('hi', 'qing')

# 8.获取属性

# print(root.get('hello')) #get方法

# print root.keys(),root.values(),root.items() #参考字典的操作

# print root.attrib #直接拿到属性存放的字典,节点的attrib,就是该节点的属性

'''以上是属性的操作'''

# 9.text和tail属性

# root.text = 'Hello, World!'

# print root.text

# 10.test,tail和text的结合

html = etree.Element('html')

html.text = 'html.text'

body = etree.SubElement(html, 'body')

body.text = 'wo ai ni'

child = etree.SubElement(body, 'child')

child.text='child.text' #一般情况下,如果一个节点的text没有内容,就只有>符号,如果有内容,才会<>,>都有

child.tail = 'tails' # tail是在标签后面追加文本

print(etree.tostring(html))

# print(etree.tostring(html, method='text')) # 只输出text和tail这种文本文档,输出的内容连在一起,不实用

#11.Xpath方式

# print(html.xpath('string()')) #这个和上面的方法一样,只返回文本的text和tail

print(html.xpath('//text()')) #这个比较好,按各个文本值存放在列表里面

tt=html.xpath('//text()')

print tt[0].getparent().tag #这个可以,首先我可以找到存放每个节点的text的列表,然后我再根据text找相应的节点

# for i in tt:

# print i,i.getparent().tag,'\t',

#12.判断文本类型

print tt[0].is_text,tt[-1].is_tail #判断是普通text文本,还是tail文本

'''以上都是文本的操作'''

#13.字符串解析,fromstring方式

xml_data = 'html.text

wo ai nichild.texttails'

root1=etree.fromstring(xml_data) #fromstring,字面意思,直接来源字符串

# print root1.tag

# print etree.tostring(root1)

#14.xml方式

root2 = etree.XML(xml_data) #和fromstring基本一样,

print etree.tostring(root2)

#15.文件类型解析

tree =etree.parse('text') #文件解析成元素树

root3 = tree.getroot() #获取元素树的根节点

print etree.tostring(root3,pretty_print=True)

parser= etree.XMLParser(remove_blank_text=True) #去除xml文件里的空行

root = etree.XML(" ",parser)

print etree.tostring(root)

#16.html方式

xml_data1='data'

root4 = etree.HTML(xml_data1)

print(etree.tostring(root4))#HTML方法，如果没有和

标签，会自动补上

#注意,如果是需要补全的html格式:这样处理哦

with open("quotes-1.html",'r')as f:

a=H.document_fromstring(f.read().decode("utf-8"))

for i in a.xpath('//div[@class="quote"]/span[@class="text"]/text()'):

print i

#17.输出内容,输出xml格式

print etree.tostring(root)

print(etree.tostring(root, xml_declaration=True,pretty_print=True,encoding='utf-8'))#指定xml声明和编码

'''以上是文件IO操作'''

#18.findall方法

root = etree.XML("aText")

print(root.findall('a')[0].text)#findall操作返回列表

print(root.find('.//a').text) #find操作就相当与找到了这个元素节点,返回匹配到的第一个元素

print(root.find('a').text)

print [ b.text for b in root.findall('.//a') ] #配合列表解析,相当帅气!

print(root.findall('.//a[@x]')[0].tag) #根据属性查询

'''以上是搜索和定位操作'''

print(etree.iselement(root))

print root[0] is root[1].getprevious() #子节点之间的顺序

print root[1] is root[0].getnext()

'''其他技能'''

# 遍历元素数

root = etree.Element("root")

etree.SubElement(root, "child").text = "Child 1"

etree.SubElement(root, "child").text = "Child 2"

etree.SubElement(root, "another").text = "Child 3"

etree.SubElement(root[0], "childson").text = "son 1"

# for i in root.iter(): #深度遍历

# for i in root.iter('child'): #只迭代目标值

# print i.tag,i.text

# print etree.tostring(root,pretty_print=True)