lxml模块常用方法整理总结

最新推荐文章于 2024-04-08 07:15:16 发布
最新推荐文章于 2024-04-08 07:15:16 发布
阅读量3.3k 收藏 5
点赞数
本文为博主原创文章，欢迎转载，请注明出处
本文链接：https://blog.csdn.net/mouday/article/details/105376949
版权

Element结构

<tag attrib >text</tag>tail

eg:
<span width="200px">标签内的文本</span>标签后的文本

lxml函数接口

lxml模块常用体系结构：

lxml.etree
    class
        XMLParser
        XMLPullParser   
        HTMLParser
        HTMLPullParser
        XPath

    function
        Comment(text=None)
        Element(_tag, attrib=None, nsmap=None, **_extra)
        ElementTree(element=None, file=None, parser=None)
        
        # 解析字符串
        HTML(text, parser=None, base_url=None)
        XML(text, parser=None, base_url=None)
        fromstring(text, parser=None, base_url=None)
        parse(source, parser=None, base_url=None)
        
        # 序列化
        tostring(element_or_tree, encoding=None, method="xml", xml_declaration=None, pretty_print=False, with_tail=True, standalone=None, doctype=None, exclusive=False, inclusive_ns_prefixes=None, with_comments=True, strip_text=False, )
        tounicode(element_or_tree, method="xml", pretty_print=False, with_tail=True, doctype=None)
        
        # 默认解析器lxml.etree.XMLParser
        get_default_parser() 
        set_default_parser(parser=None)
        
        # 修剪
        strip_attributes(tree_or_element, *attribute_names)
        strip_elements(tree_or_element, with_tail=True, *tag_names)
        strip_tags(tree_or_element, *tag_names)


lxml.etree._Element
    https://lxml.de/api/lxml.etree._Element-class.html
    
    addnext(self, element)
    getnext(self)
    addprevious(self, element)  
    getprevious(self)

    append(self, element)
    insert(self, index, element)
    clear(self, keep_tail=False)
    remove(self, element)
    replace(self, old_element, new_element)

    extend(self, elements)  
    find(self, path, namespaces=None)
    findall(self, path, namespaces=None)    
    findtext(self, path, default=None, namespaces=None)
    
    getchildren(self)
    getparent(self)
    getroottree(self)   
    index(self, child, start=None, stop=None)
    
    makeelement(self, _tag, attrib=None, nsmap=None, **_extra)
    
    # 属性操作
    items(self)
    keys(self)
    get(self, key, default=None)
    set(self, key, value)
    values(self)
    
    # 选择器
    cssselect(...)
    xpath(self, _path, namespaces=None, extensions=None, smart_strings=True, **_variables)
    
    # 属性
    attrib get(), set(), keys(), values() and items()
    base
    tag
    tail
    text


lxml.etree.ElementTree
    __init__(self, element=None, file=None)
    find(self, path, namespaces=None)
    findall(self, path, namespaces=None)
    findtext(self, path, default=None, namespaces=None)     
    getiterator(self, tag=None)
    getroot(self)
    iter(self, tag=None)
    iterfind(self, path, namespaces=None)   source code
    parse(self, source, parser=None)    source code
    write(self, file_or_filename, encoding=None, xml_declaration=None, default_namespace=None, method=None) source code
    write_c14n(self, file)



lxml.http
    https://lxml.de/api/lxml.html-module.html
    class
        HTMLParser
        HtmlComment
        HtmlElement
    
    function
        document_fromstring(html, parser=None, ensure_head_body=False, **kw)    source code
        fragment_fromstring(html, create_parent=False, base_url=None, parser=None, **kw)
        Element(*args, **kw)
        parse(filename_or_url, parser=None, base_url=None, **kw)
        open_in_browser(doc, encoding=None)
        fromstring(html, base_url=None, parser=None, **kw)
        tostring(doc, pretty_print=False, include_meta_content_type=False, encoding=None, method='html', with_tail=True, doctype=None)


lxml.html.html5parser:
    class   
        HTMLParser
    function
        fromstring(html, guess_charset=None, parser=None)

class HtmlElement(_Element)
    cssselect(self, expr, translator='html')
    set(self, key, value=None)

示例代码

平时用的多的是html文档处理，所以下面具体看下html相关内容

1、element <-> string 之间转换

from lxml import html

text = '<div><span><p>内容</p></span></div>'

# 文档方式 会补全body等标签
root1 = html.document_fromstring(text)
print(html.tostring(root1, encoding="unicode"))
# <html><body><div><span><p>内容</p></span></div></body></html>

# 片段方式
root2 = html.fragment_fromstring(text)
print(html.tostring(root2, encoding="unicode"))
# <div><span><p>内容</p></span></div>

另一个解析示例

from lxml.etree import ParserError
from lxml import html, etree

content = '<p>你好</p><p>世界</p><p></p>'

# 默认只能解析单个标签元素，如果是多个就自动添加一个包裹元素
try:
    tree = html.fragment_fromstring(html=content)
except ParserError:
    tree = html.fragment_fromstring(html=content, create_parent=True)

# 第三个p标签变成了自闭和标签
print(html.tostring(tree, method="xml", encoding='unicode'))
# <div><p>你好</p><p>世界</p><p/></div>

print(html.tostring(tree, method="html", encoding='unicode'))
# <div><p>你好</p><p>世界</p><p></p></div>

# 只提取其中文本 <class 'str'>
print(html.tostring(tree, method="text", encoding='unicode'))
# 你好世界

# 等价于（类型不一样），lxml.etree._ElementUnicodeResult继承自unicode
print(tree.xpath('string(.)'))
# 你好世界

2、助手函数

# 为了方便查看结果，统一使用输出函数
def log_html(element):
    print(html.tostring(element, encoding='unicode', pretty_print=True))


# 在浏览器中打开（调试用）
html.open_in_browser(root)

3、创建元素


# 创建元素 添加属性
root = html.Element('div', {'width': '23px'})
root.text = "根元素"
root.tail = "元素后面的文本"
root.base = "www.baidu.com"

log_html(root)
# <div width="23px" xml:base="www.baidu.com">根元素</div>元素后面的文本

# 获取属性 attrib是一个字典
print(root.attrib)  
# {'width': '23px', '{http://www.w3.org/XML/1998/namespace}base': 'www.baidu.com'}
print(root.text)    # 元素文本
print(root.tag)     # div
print(root.tail)    # 元素后面的文本
print(root.base)   # None


# 元素属性
print(root.keys())
# ['width']

print(root.values())
# ['23px']

print(root.items())
# [('width', '23px')]

root.set('height', '300px')
print(root.get('height'))
# 300px

root.attrib.pop('height')

4、修改元素增加、删除、替换

# 创建元素
root = html.Element('div')

# 添加子节点
p = html.Element('p')

# 追加一个元素
root.append(p)

# 追加多个元素
root.extend([html.Element('span1'), html.Element('span2')])

# 插入元素
root.insert(0, html.Element('span3'))
root.insert(2, html.Element('span4'))
# log_html(root)
"""
<div>
    <span3></span3>
    <p></p>
    <span4></span4>
    <span1></span1>
    <span2></span2>
</div>
"""

# 选择并移除节点
root.remove(root.xpath("//span1")[0])
root.remove(root.cssselect("span2")[0])
root.remove(root.xpath("//span3")[0])

# 替换节点
root.replace(root.xpath("//span4")[0], html.Element('span5'))

# 添加兄弟节点
p.addprevious(html.Element('span', text='前面'))
p.addnext(html.Element('span', text='后面'))
log_html(root)
"""
<div>
<span text="前面"></span>
<p></p>
<span text="后面"></span>
<span5></span5>
</div>
"""

# 清除所有内容
root.clear()
log_html(root)
# <div></div>

# 添加注释
tag = html.HtmlComment("注释")
root.append()
log_html(root)
# <div><!--注释--></div>

print(tag.text)  # 注释

5、元素查找

# 创建元素
text = '<div><p>p中的内容<span>span1的内容</span><span width="200px">span2的内容</span></p></div>'
root = html.fragment_fromstring(text)

# css 或 xpath查询元素
print(root.cssselect('span'))
# [<Element span>, <Element span>]

print(root.xpath('//span'))
# [<Element span >, <Element span >]

# 查找子元素
print(root.find('.//span'))
# <Element span at>

print(root.findall('.//span'))
# [<Element span at>, <Element span at>]

print(root.findtext('.//span'))
# span1的内容

# 子元素
print(root.getchildren())
# [<Element p at >]

# 父元素
span = root.xpath('//span[@width="200px"]')[0]
print(span.getparent())
# <Element p at>

# 兄弟元素
print(span.getnext())
# None

print(span.getprevious().text)
# span1的内容

# 获取根元素
print(log_html(span.getroottree()))
"""
<!DOCTYPE html PUBLIC "-//W3C//DTD HTML 4.0 Transitional//EN" "http://www.w3.org/TR/REC-html40/loose.dtd">
<html><body><div><p>p中的内容<span>span1的内容</span>
<span width="200px">span2的内容</span></p></div></body></html>
"""

# 查找子元素位置
print(span.getparent().index(span))
# 1

6、etree提供的功能函数


from lxml import html, etree

# 创建元素
text = '<div><p width="200px">p中的内容<span width="200px">span的内容</span></p>p后的内容</div>'
root = html.fragment_fromstring(text)

# 移除属性
etree.strip_attributes(root, ['width'])
log_html(root)
# <div><p>p中的内容<span>span的内容</span>span后的内容</p></div>

# 元素和子元素
# etree.strip_elements(root, ['p'], with_tail=True)
# log_html(root)
# <div></div>

# 移除元素标签，保留子元素
etree.strip_tags(root, ['p'])
log_html(root)
# <div>p中的内容<span>span的内容</span>p后的内容</div>

参考
https://lxml.de/api/

彭世瑜
关注
  • 0
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
python爬虫04 - xpath和lxml模块
LonelyDragons的博客
08-26 802
1. xpath介绍 1.1 基本概念 • XPath（XML Path Language）是一种XML的查询语言，他能在XML树状结构中寻找节点。XPath 用于在 XML 文档中通过元素和属性进行导航 • xml是一种标记语法的文本格式，xpath可以方便的定位xml中的元素和其中的属性值。lxml是python中的一个包，这个包中包含了将html文本转成xml对象，和对对象执行xpath的功能 1.2 结点的关系 xml_content = ''' <bookstore> <book
Python常用库 - 【持续整理归档】
云度
01-06 6100
Python常用库 - 【持续整理归档】，比较多，会逐步慢慢细化分类和扩从python常用库。 目录 1、常用库 2、Python文件处理库 3、Python图像处理库 4、Python游戏和多媒体类库 5、大数据与科学计算 6、其功能与软件MATLAB、Scilab和GNU Octave类似。 7、PyDy， Python动态建模函数库。 8、人工智能与机器学习 9、系统与命...
lxml基本用法总结
kikaylee的专栏
02-24 3万+
lxml库结合libxml2快速强大的特性，使用xpath语法来进行文件格式解析，与Beautiful相比，效率更高。
lxml简明教程
hellocsz的博客
04-01 8704
Python 标准库中自带了 xml 模块，但是性能不够好，而且缺乏一些人性化的 API，相比之下，第三方库 lxml 是用 Cython 实现的，而且增加了很多实用的功能，可谓爬虫处理网页数据的一件利器。lxml 大部分功能都存在 lxml.etree中，所以下文都假定已经执行了from lxml import etree解析 XML 字符串网页下载下来以后是个字符串的形式，使用etree.fr...
lxml.etree的使用
bb67ao的博客
05-25 1091
lxml.entree的使用文档中文文档英文文档常用的一个对象三个方法Element对象etree.fromstring()(将字符串转化为Element对象)etree.XML(str)（将XML转化为Element对象）etree.tostring()(将Element转化为string）etree.Parser（文件形式解析html内容）Element.xpath（xpth定位标签） 文档 中文文档 (https://www.cnblogs.com/my_captain/p/7490292.html)
使用 lxml 查找 XML 内容
abcque的专栏
04-22 264
import sys from lxml import etree if __name__ == '__main__': text = '''<div> <p>1</p> <p>2</p> <p>3</p> <p>4</p> &l.
使用 lxml 查找 xml 文档
abcque的专栏
04-26 414
一、使用 find 相关函数 1、查找第一个元素 from lxml import etree if __name__ == '__main__': text = "<div><ul><li>a</li><li>b</li><li>c</li></ul></div>" tree = etree.XML(text=text) # result =
Python 常用包整理
yanyong1990的博客
04-01 4625
使用traceback来追踪异。 通过zlib实现压缩与解压字符串的方法。 Base64编码和解码。 hashlib是涉及安全散列和消息摘要，提供多个不同的加密算法借口，如SHA1、SHA224、SHA256、SHA384、SHA512、MD5等。 cookielib库主要功能是提供可存储cookie的对象。使用此模块捕获cookie并在后续连接请求时重新发送，还可以用来处理包含cooki
【爬虫】一文掌握爬虫数据解析相关内容-正则 bs4 lxml
weixin_51656605的博客
02-04 3713
本系列为自己学习爬虫的相关笔记，如有误，欢迎大家指正 引入 回顾requests模块实现数据爬取的流程 指定url 发起请求 获取响应数据 持久化存储 其实，在上述流程中还需要较为重要的一步，就是在持久化存储之前需要进行指定数据解析。因为大多数情况下的需求，我们都会指定去使用聚焦爬虫，也就是爬取页面中指定部分的数据值，而不是整个页面的数据。至此，我们的数据爬取的流程可以修改为： 指定url 发起请求 获取响应数据 数据解析 持久化存储 python如何实现数据解析 正则表达式 xpat.
python网络爬虫（web spider）系统化整理总结（一）：入门
the blog of alunSemiconductor
10-02 4610
接触爬虫很久了，一直没有个系统的理解和整理，近来假日无事，总结一下。 -------------------------------------------以下是目录--------------------------------------------------------- 一、爬虫概述及分类 二、爬虫的应用场景 三、爬虫的一般执行过程 四、爬虫技术常用的知识 五、反爬虫 --...
python爬虫之lxml
Tudective的博客
03-14 1267
lxml是Python中一个非常强大的XML和HTML处理库。它是基于C语言的libxml2库进行开发的，具有高性能和高效的特点，适用于解析和操作大型XML和HTML文档。lxml库提供了一些非常方便的功能，包括：解析XML和HTML文档：lxml可以将XML和HTML文档解析为树状结构，以便于对文档进行操作和查询。定位元素：lxml支持使用XPath和CSS选择器来定位文档中的元素，从而方便地提取出所需的数据。
python教程lxml详解
欢迎来到爱吃熊掌的鱼的博客
04-06 3284
解析XML和HTML文档：lxml提供了两种主要的解析器，分别是基于C的解析器和基于Python的解析器。基于C的解析器使用libxml2库，速度较快，而基于Python的解析器则更加容易安装和使用。使用lxml的解析器，可以将XML和HTML文档解析成一个树状结构的Element对象，从而可以通过操作Element对象来访问、修改和操作文档的内容。Element对象：Element对象是lxml中的主要对象，它代表了XML或HTML文档中的一个元素或标签。
python爬虫-lxml的使用
最新发布
2401_84008985的博客
04-08 718
绝对路径即给出从/html的外层标签到我们需要定位的标签所经过的所有路径(与文件绝对路径一样的)可以看出xpath定位特定的标签语法是u"路径(相对路径或者绝对路径[@属性=‘属性名’])"我的理解是,xpath将html或者xml文档当做一个文件来对待,每个节点代表不同的路径。可以看出,使用绝对路径,找到的是body下的所有link,但是不会找子节点的子节点。与beautifulsoup类似,用标签的属性来定义,不过xpath有他特有的语法。可以使用标签之间的文字来定位(bs中标签的text属性)
Python之lxml模块的etree类的使用
LOVE_XUAN521的专栏
05-14 4354
Python之lxml模块的etree类的使用 lxml的安装与etree类的导入 将html字符串转化为Element对象，且elment对象的方法 element对象的xptah方法 1.lxml模块的安装 安装方式：在终端cmd下利用pip命令安装即可（保证网络畅通） pip install lxml 2.element对象 element对象是xpath语法的使用对象，element对象可由html字符串转化 利用etree.HTML()将html字符串转化为element对象 , fro
【采集web数据Python实现】附源码
04-18
属于系列课程，会把大数据体系详细的做讲解，分解在每次的视频中；资料齐全都已上传（源码、课程笔记）适用人群：编程爱好者 对Python有一定的认识
lxml库的基本使用
weixin_57440207的博客
05-03 1万+
Python之lxml模块的使用：1. 认识lxml2. lxml中基本使用2.1 安装并导入lxml模块2.2 节点操作：2.3 属性操作：2.4 文本操作2.5 xml文件解析与序列化2.6 lxml命名空间的处理3. 使用lxml解析xml案例4. 使用lxml生成一个xml文件案例：5. 补充：xPath语法5.1 节点选择语法：5.2 节点修饰语法：5.3 谷歌浏览器xpath helper插件的安装和使用xpath helper插件的安装 1. 认识lxml lxml是一款高性能的Python
爬虫：python之BeautifulSoup(lxml)
热门推荐
走范
03-22 3万+
一、简介一个灵活又方便的HTML解析库，处理高效，支持多种解析器，利用它不使用正则表达式也能抓取网页内容。解析器使用方法优势劣势python标准库BeautifulSoup(markup,"html.parser")python内置标准库执行速度适中文档纠错能力强python2.7.3以前的版本容错能力差lxml HTML解析器BeautifulSoup(markup,"lxml")速度快文档纠错...
关于python 中 lxml 的 etree 标签浅谈
xiaoweids的博客
07-09 630
这篇文章主要介绍了python 中lxml的etree 标签解析，文章围绕主题展开详细内容，需要的小伙伴可以参考一下，希望对你的学习或工作有所帮助。
Python爬虫初级（4）：lxml.etree解析网页
一北DMY的博客
06-23 1万+
Python爬虫初级（4）：lxml.etree解析网页
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值