Python__模块(网络-HTML解析)__lxml

已于 2023-12-31 07:50:21 修改
阅读量1k 收藏 19
点赞数 17
分类专栏： Python 文章标签： python
于 2023-11-24 20:14:04 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/werdasooooo/article/details/134586579
版权

简介

HTML解析工具、HTML页面生成工具。

安装

pip install lxml

文档查询

https://lxml.de/index.html

Element类

可以直观的理解为XML的节点

Element 是 ElementTree API 的主要容器对象。大多数 XML 树功能可通过此类进行访问

Element类（参考代码）

XML增删改

from lxml import etree
""" 节点创建 """
root = etree.Element("root")
""" 节点创建+属性创建 """
root = etree.Element("root", dataName="自定义属性")
""" 属性 """
root.get("dataName")                  # 获取指定属性
sorted(root.keys())                   # 获取所有属性
attributes = root.attrib
attributes["dataName"] = "修改的属性" # 修改属性值
""" 节点内容创建 """
root.text = "这是一段内容"
""" 节点名称 """
root.tag
""" 子节点创建 """
child2 = etree.SubElement(root, "child2")
child3 = etree.SubElement(root, "child3")
""" 序列化已创建的XML """
htmlText = etree.tostring(root, pretty_print=True)
print(htmlText)
""" 访问元素 """
child = root[0]      # 索引方式获取
child.tag
len(root)            # 统计子节点数量
root.index(root[1])  # 获取节点的索引位置
list(root)           # 转化为列表
""" 插入元素 """
root.insert(0, etree.Element("child0"))  # 创建的节点插入到,索引为0的位置
""" 节点跳转 """
root[0].getparent()              # 父节点
root[0] is root[1].getprevious() # 上一个节点
root[1] is root[0].getnext()     # 下一个节点
""" 删除 """
root.remove(root[0])

toString序列化

from lxml import etree
root = etree.XML('<root><a><b/></a></root>')
''' 【默认输出】 '''
etree.tostring(root)
# >>> b'<root><a><b/></a></root>' 
''' 【XML格式】 '''
print(etree.tostring(root, xml_declaration=True))
# >>> b"<?xml version='1.0' encoding='ASCII'?>\n<root><a><b/></a></root>"
''' 【编码】 '''
print(etree.tostring(root, encoding='iso-8859-1'))
''' 【漂亮打印】 '''
print(etree.tostring(root, pretty_print=True))
''' 【提取内容】 '''
root = etree.XML('<html><head/><body><p>Hello<br/>World</p></body></html>')
etree.tostring(root, method='text')
# >>> b'HelloWorld'

HTML构造

from lxml import etree
root = etree.Element("p", data="txt")
root.text = "Hello,World!"
print(root.text)                        # >>> Hello,World!
print(etree.tostring(root))             # >>> b'<p data="txt">Hello,World!</p>'

html = etree.Element("html")
body = etree.SubElement(html, "body")   # 添加节点
body.text = "Text"
print(etree.tostring(html))             # b'<html><body>Text</body></html>'

ElementTree类

ElementTree 主要是围绕树的文档包装器，带有根节点。

大部分方法与Element类相同。

ElementTree类（参考代码）

HTML构造器

E-factory 提供了一种简单而紧凑的语法，用于生成 XML 和 HTML格式。

from lxml.builder import E
from lxml import etree

def CLASS(*args):  # class is a reserved word in Python
    return {"class": " ".join(args)}

html = page = E.html(  # create an Element called "html"
    E.head(E.title("This is a sample document")),
    E.body(
        E.h1("Hello!", CLASS("title")),
        E.p("This is a paragraph with ", E.b("bold"), " text in it!"),
        E.p(
            "This is another paragraph, with a",
            "\n      ",
            E.a("link", href="http://www.python.org"),
            ".",
        ),
        E.p("Here are some reserved characters: <spam&egg>."),
        etree.XML("<p>And finally an embedded XHTML fragment.</p>"),
    ),
)

print(etree.tostring(page, pretty_print=True))
# >>>
'''
<html>
  <head>
    <title>This is a sample document</title>
  </head>
  <body>
    <h1 class="title">Hello!</h1>
    <p>This is a paragraph with <b>bold</b> text in it!</p>
    <p>This is another paragraph, with a
      <a href="http://www.python.org">link</a>.</p>
    <p>Here are some reserved characters: &lt;spam&amp;egg&gt;.</p>
    <p>And finally an embedded XHTML fragment.</p>
  </body>
</html>
'''

字符串和文件解析

常用解析函数

etree.XMLParser

创建解析器

【删除空文本】

etree.XMLParser(remove_blank_text=True)

etree.fromstring 解析字符串
etree.XML解析XML对象
etree.HTML解析HTML对象
etree.parse

解析文件类型对象

【提示】

parse（） 返回一个 ElementTree 对象，而不是一个 Element 对象

Xpath 

Xpath路径

  • element.xpath(path)  指定在某个element,指定使用
  • etree.xpath(path)  包装在一个函数,频繁使用

Xpath（参数列表）

Xpath元素路径

iterfind（）遍历与路径匹配的所有元素 表达
findall（）返回匹配元素的列表
find（）有效地只返回第一个匹配项
findtext（）返回第一个匹配项的 .text 内容

Xpath提取内容

string()返回字符串
text()返回列表

Xpath常用规则

nodename

选取此节点的所有子节点

【例子】

bookstore（选取 bookstore 元素的所有子节点。）

/

从当前节点选取直接子节点

【例子】

/bookstore（选取根元素 bookstore。）

bookstore/book （选取属于 bookstore 的子元素的所有 book 元素。）

//

从当前节点选取子孙节点

【例子】

//book（选取所有 book 子元素，不限位置）

.

选取当前节点

..

选取当前节点的父节点

@

选取属性

【例子】

//@lang（选取名为 lang 的所有属性。）

*

通配符

【例子】

/bookstore/*（选取 bookstore 元素的所有子元素。）

//*（选取文档中的所有元素。）

@*

选取所有属性

【例子】

//title[@*]（选取所有带有属性的 title 元素。）

[@attrib]

选取具有给定属性的所有元素

[@attrib='value']

选取给定属性具有给定值的所有属性

[tag]

选取所有具有指定元素的直接子节点

[tag='text']

选取所有具有指定元素并且文本内容是text节点

Xpath运算符

运算符描述实例返回值

or

或age=19 or age=20如果age等于19或者等于20则返回true反正返回false
and与age>19 and age<21如果age等于20则返回true，否则返回false
mod取余5 mod 21
|取两个节点的集合//book | //cd返回所有拥有book和cd元素的节点集合
+加6+410
-减6-42
*乘6*424
div除法8 div 42
=等于age=19true
!=不等于age!=19true
<小于age<19true
<=小于或等于age<=19true
>大于age>19true
>= 大于或等于age>=19true

Xpath常用函数

contains(string1,string2)

如果 string1 包含 string2，则返回 true，否则返回 false。

例子：contains(@classs,”classame“)

结果：true

name()返回当前节点的名称或指定节点集中的第一个节点。
position()

返回当前正在被处理的节点的 index 位置。

例子：//book[position()<=3]

结果：选择前三个 book 元素

last()

返回在被处理的节点列表中的项目数目

例子：//book[last()]

结果：选择最后一个 book 元素

更多函数了解https://www.w3school.com.cn/xpath/xpath_functions.asp

Xpath节点

ancestor

选取当前节点的所有先辈（父、祖父等）。

【例子】

ancestor::book 选择当前节点的所有 book 先辈。

ancestor-or-self

选取当前节点的所有先辈（父、祖父等）以及当前节点本身。

【例子】

ancestor-or-self::book 选取当前节点的所有 book 先辈以及当前节点（如果此节点是 book 节点）

attribute

选取当前节点的所有属性。

【例子】

attribute::lang 选取当前节点的 lang 属性。

attribute::*       选取当前节点的所有属性。

child

选取当前节点的所有子元素。

【例子】

child::book 选取所有属于当前节点的子元素的 book 节点。

child::*  选取当前节点的所有子元素。

child::text() 选取当前节点的所有文本子节点。

descendant

选取当前节点的所有后代元素（子、孙等）。

【例子】

descendant::book 选取当前节点的所有 book 后代。

descendant-or-self

选取当前节点的所有后代元素（子、孙等）以及当前节点本身。

following

选取文档中当前节点的结束标签之后的所有节点。

namespace

选取当前节点的所有命名空间节点。

parent

选取当前节点的父节点。

preceding

选取文档中当前节点的开始标签之前的所有节点。

preceding-sibling

选取当前节点之前的所有同级节点。

self

选取当前节点。

Xpath谓语

表达式结果
/bookstore/book[1]选取属于 bookstore 子元素的第一个 book 元素。
/bookstore/book[last()]选取属于 bookstore 子元素的最后一个 book 元素。
/bookstore/book[last()-1]选取属于 bookstore 子元素的倒数第二个 book 元素。
/bookstore/book[position()<3]选取最前面的两个属于 bookstore 元素的子元素的 book 元素。
//title[@lang]选取所有拥有名为 lang 的属性的 title 元素。
//title[@lang='eng']选取所有 title 元素，且这些元素拥有值为 eng 的 lang 属性。

Xpath更多获取

路径表达式结果
//book/title | //book/price选取 book 元素的所有 title 和 price 元素。
//title | //price选取文档中的所有 title 和 price 元素。
/bookstore/book/title | //price选取属于 bookstore 元素的 book 元素的所有 title 元素，以及文档中所有的 price 元素。

Xpath（参考代码）

HTML文件解析

from lxml import etree
xp = etree.parse("123.html", etree.HTMLParser()) # HTMLParser 指定解析器
#'//td[@class='xxx']/text()'                     # 获取td 指定类型下的内容
htm = xp.xpath("//*")                            # 获取所有//下的所有节点
print(htm)

HTML解码输出

from lxml import etree
e_text = """
    <div>
        <ul>
            <li class='item-0'><a href='link1.html'>第一个</a></li>
            <li class='item-1'><a href='link2.html'>second item</a></li>
            <li class='item-0'><a href='link5.html'>a属性</a>
        </ul>
    </div>
"""
html = etree.HTML(e_text)                        # 解析HTML
result = etree.tostring(html).decode("utf-8")    # 将字符串序列化为html
print(result)                                    # 输出HTML内容

获取内容（创建功能函数获取内容）

# ======解析HTML文件======#
from lxml import etree
e_text = """
    <div>
        <ul>
            <li class='item-0'><a href='link1.html'>第一个</a></li>
            <li class='item-1'><a href='link2.html'>second item</a></li>
            <li class='item-0'><a href='link5.html'>a属性</a>
        </ul>
    </div>
"""
text = e_text
text = etree.HTML(text)
''' 方式一（获取内容）'''
st1 = text.xpath("string()")
st1 = [x.strip() for x in st1.split("\n") if x.strip() != ""]
print(st1)  # >>> ['第一个', 'second item', 'a属性']
''' 方式二（获取内容）'''
content = text.xpath("//text()")
st2 = [x.strip() for x in content if x.strip() != ""]
print(st2) # >>> ['第一个', 'second item', 'a属性']
# 获取所属节点
parent = content[0].getparent()
print(parent.tag) # >>> div

获取内容（HTML解析器获取内容）

from lxml import etree
html = """
<html>
<head>
  <title>网页标题</title>
</head>
<body>
  <h1>欢迎使用lxml</h1>
  <p>这是一个示例文档</p>
</body>
</html>
"""
# 创建解析器
parser = etree.HTMLParser()
tree = etree.fromstring(html, parser)
# 获取标题
title = tree.findtext('.//title')
print(title)   # >>> 网页标题

元素路径（综合例子）

from lxml import etree
root = etree.XML("<root><a x='123'>aText<b/><c/><b/></a></root>")

''' 获取内容 '''
print(root.find(".//b").tag)              # >>> b
[ b.tag for b in root.iterfind(".//b") ]  # >>> ['b', 'b']
print(root.findall(".//a[@x]")[0].tag)    # >>> a

''' 获取元素路径 '''
tree = etree.ElementTree(root)
a = root[0] 
print(tree.getelementpath(a[0]))             # >>> a/b[1]
print(tree.getelementpath(a[1]))             # >>> a/c
tree.find(tree.getelementpath(a[2])) == a[2] # >>> True

 元素路径（进阶搜索）

''' 加入函数或运算符，筛选获取的内容 '''
from lxml import etree
text1="""
<div>
    <ul>
         <li class="aaa" name="item"><a href="link1.html">第一个</a></li>
         <li class="aaa" name="item"><a href="link1.html">第二个</a></li>
         <li class="aaa" name="item"><a href="link1.html">第三个</a></li>
         <li class="aaa" name="item"><a href="link1.html">第四个</a></li> 
     </ul>
 </div>
"""
html=etree.HTML(text1,etree.HTMLParser())
r0=html.xpath('//li[contains(@class,"aaa")]/a/text()') 
# >>> ['第一个', '第二个', '第三个', '第四个']
r1=html.xpath('//li[2][contains(@class,"aaa")]/a/text()') 
# >>> ["第二个"]
r2=html.xpath('//li[last()][contains(@class,"aaa")]/a/text()') 
# >>> ["第四个"]
r3=html.xpath('//li[position()>2 and position()<4][contains(@class,"aaa")]/a/text()')
# >>> ["第三个"]
r4=html.xpath('//li[last()-2][contains(@class,"aaa")]/a/text()')
# >>> ["第二个"]

获取节点 

from lxml import etree

text1 = """
<div>
    <ul>
         <li class="aaa" name="item"><a href="link1.html">第一个</a></li>
         <li class="aaa" name="item"><a href="link1.html">第二个</a></li>
         <li class="aaa" name="item"><a href="link1.html">第三个</a></li>
         <li class="aaa" name="item"><a href="link1.html">第四个</a></li> 
     </ul>
 </div>
"""

html = etree.HTML(text1, etree.HTMLParser())
''' 获取所有祖先节点 '''
r0 = html.xpath("//li[1]/ancestor::*")           
r0 = [x.tag for x in r0]                        # >>> ['html', 'body', 'div', 'ul'] 
''' 获取div祖先节点 '''
r1 = html.xpath("//li[1]/ancestor::div")         
r1 = [x.tag for x in r1]                        # >>> ['div']
''' 获取所有属性值 '''
r2 = html.xpath("//li[1]/attribute::*")       
''' 获取所有直接子节点 '''   
r3 = html.xpath("//li[1]/child::*")              
r3 = [x.tag for x in r3]                        # >>> ['aaa', 'item']
''' 获取所有子孙节点的a节点 '''
r4 = html.xpath("//li[1]/descendant::a")         
r4 = [x.tag for x in r4]                        # >>> ['a']
''' 获取当前子节之后的所有节点 '''
r5 = html.xpath("//li[1]/following::*")          
r5 = [x.tag for x in r5]                        # >>> ['a']
''' 获取当前节点的所有同级节点 '''
r6 = html.xpath("//li[1]/following-sibling::*")  
r6 = [x.tag for x in r6]                        # >>>  ['li', 'a', 'li', 'a', 'li', 'a']

其它API

lxml.html

基于 lxml 的 HTML 解析器， 但为 HTML 元素提供了一个特殊的 Element API，以及 用于常见 HTML 处理任务的实用程序数量。

适用于快速生成HTML页面

lxml.html（参考代码）

创建HTML

import lxml.html
from lxml.html import builder as E

html = E.HTML(
    E.HEAD(
        E.LINK(rel="stylesheet", href="great.css", type="text/css"),
        E.TITLE("Best Page Ever"),
    ),
    E.BODY(
        E.H1(E.CLASS("heading"), "Top News"),
        E.P("start...", style="font-size: 200%"),
        "###########",
        E.P("end...", id="txt", data_value="1", style="font-size:16px;"),
        lxml.html.fromstring("<p>xxxxxxxxxx</p>"),
    ),
)

print(lxml.html.tostring(html))
# >>>
"""
<html>
  <head>
    <link rel="stylesheet" href="great.css" type="text/css" />
    <title>Best Page Ever</title>
  </head>
  <body>
    <h1 class="heading">Top News</h1>
    <p style="font-size: 200%">start...</p>
    ###########
    <p id="txt" data_value="1" style="font-size: 16px">end...</p>
    <p>xxxxxxxxxx</p>
  </body>
</html>
"""

vip飞梦
关注
  • 17
    点赞
  • 踩
  • 19
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
python lxml用法详解_Python-- lxml用法
weixin_34570232的博客
01-28 1837
目录lxml库(lxml安装可查看上一篇文章)Element类1、节点操作2、属性操作3、文本操作4、文件解析与输出5、ElementPath6、案例(尤其最后的一篇代码)lxml库(lxml安装可查看上一篇文章)python的HTML/XML的解析器官方文档： http://lxml.de/index.html功能：解析HTML文件读取etree和XPath的配合使用围绕三个问题:问题1：有...
python ar_python解析arxml--Apple的学习笔记
weixin_39947396的博客
12-11 1891
一，目标：汽车行业Autosar用developer工具会生成RTE接口，RTE解析中的信息，特别是data element无法导出查看，只能连接dangle打开developer工程才能看。我觉得不方便。所以靠自己解析arxml则可以随时阅读各种信息。二，调研:我要怎样才能完成我自己目标，自己解析arxml呢？先由简单的xml解析开始，昨天已经自学了python3.7自带的xml包的ET模块，以...
python中如何解析Html
成长的烧年
03-18 1607
在最近需要的需求中，需要 python 获取网页内容，并从html中获取到想要的内容。这里记录一下两个比较常用的python库对html的解析。
python 数据分析之 HTML文件解析
weixin_42914706的博客
02-19 9808
HTML：是 Hypertext Marked Language，即超文本标记语言，是一种用来制作超文本文档的简单标记语言；HTTP超文本传输协议规定了浏览器在运行 HTML 文档时所遵循的规则和进行的操作。HTTP协议的制定使浏览器在运行超文本时有了统一的规则和标准。HTML文件本质上是文本文件，而普通的文本文件只能显示字符。
Python解析网页-requests_html
2302_79100751的博客
05-27 1060
requests_html的基本使用 以及安装配置 代码解析
python lxml模块解析html_用Python中的LXML解析HTML表
weixin_36463040的博客
01-28 470
我需要解析以下结构的html表：Smth1...Smth2...Smth3...Smth4...Python代码：r = requests.post(url,data)html = lxml.html.document_fromstring(r.text)rows = html.xpath(xpath1)[0].findall("tr")#Getting Xpath with FireBugdat...
python lxml库_Python-数据解析-lxml库-上
weixin_39918961的博客
11-30 343
lxml 使用 Python 语言编写的库，主要用于解析和提取 HTML 或者 XML 格式的数据。from lxml import etreelxml 库的一些相关类：Element 类：XML 的节点。ElementTree 类：一个完整的 XML 文档树。ElementPath 类：用于搜索和定位节点。一、Element 类创建一个节点对象，则可以通过构造函数直接创建。root = etre...
python xml解析html_lxml - 用Python解析XML和HTML
weixin_35141284的博客
01-14 268
lxml是一个功能丰富且简单易用的Python XML、HTML文档解析库概述lxml是一个非常Pythonic的文档解析工具包，依赖于C语言库libxml2和libslt。它的独特之处在于高效率与功能的完整性兼备，且提供了简单易用Python原生API。最新版本的lxml支持CPython2.6至3.6的版本。下载pip install lxml# 可以通过pip直接进行下载使用git clon...
python lxml 模块_lxml模块(应用xpath技术)
weixin_39944944的博客
02-02 200
一、lxml介绍第三方库lxml是第一款表现出高性能特征的python xml库，天生支持Xpath1.0、XSLT1.0、定制元素类，甚至python风格的数据绑定接口。lxml是通过Cpython实现的，构建在两个C库上(libxml2和libxslt)，为执行解析、序列化、转换等核心任务提供了主要动力，是爬虫处理网页数据的一件利器。lxml对xml和html都有很好的支持，分别使用 lxml...
python_elementt_xml.zip_python xml_xml解析 python
09-14
在提供的`python使用elementtree模块解析xml.txt`文档中，应包含了使用`ElementTree`解析XML的详细代码示例。通过学习这些代码，你可以理解如何根据实际需求处理XML数据。实践中，可能涉及更复杂的操作，如处理命名...
python_crawl_webtoon-源码
04-09
【Python网络爬虫技术解析】 Python作为一种功能强大的编程语言，被广泛应用于数据处理、数据分析以及网络爬虫领域。"python_crawl_webtoon-源码" 提供的是使用Python进行网络漫画（webtoon）爬取的相关代码。在这...
python_interview_question-master.zip
10-29
5. 模块与包：了解如何导入和使用Python模块，以及如何组织和打包代码。 二、Python进阶 随着对Python的深入，我们需要掌握更多高级特性： 1. 面向对象编程：包括类的定义、对象的创建、继承、多态、封装等概念。 ...
python_lxml
08-14
Python_lxml库是Python编程语言中的一个高效XML和HTML处理库，它提供了强大的解析、转换以及操作XML文档的能力。这个库是基于libxml2和libxslt这两个C库的，因此在性能上远超标准库的xml.etree.ElementTree。lxml...
python_img_spider.zip_IMGspider_python 保存图片_spider_并发 python
09-21
3. **网页解析库**: Python中常用的网页解析库有BeautifulSoup和lxml，它们可以帮助开发者解析HTML和XML文档，提取图片链接等信息。 4. **并发处理**: 为了提高下载效率，项目使用了并发技术。Python可以使用多线程...
cv2读取和保存图片
最新发布
m0_53291740的博客
07-12 122
cv2.imwrite('b\\img1.png',img)#b存在就可以保存进去。如果b存在，c不存在，程序不会报错，也不会保存图片。如果目录b不存在就会存到当前文件夹。
面试题 21：解释 Python 中的 help() 函数和 dir() 函数？
专注于全栈开发领域
07-10 753
在Python中，help()和dir()是两个非常有用的内置函数，它们可以帮助开发者更好地了解Python对象和模块。
Nginx七层（应用层）反向代理：UWSGI代理uwsgi_pass篇
jclee95的个人博客
07-10 1056
Nginx提供了多种应用层反向代理支持，包括proxy_pass、uwsgi_pass、fastcgi_pass和scgi_pass等。其中，proxy_pass指令可以接受一个URL参数，用于实现对HTTP/HTTPS协议的反向代理；uwsgi_pass用于代理到uWSGI应用服务器；fastcgi_pass用于代理到FastCGI服务器；而scgi_pass则用于代理到SCGI（Simple Common Gateway Interface）应用。这些指令使Nginx能够灵活地处理不同类型的后端服务和应
聊聊如何在内网下构建大模型微调环境
python1234567_的博客
07-12 695
LlamaFactory新版更新后，还是比较方便，只是说llamafactory-cli命令的确是有点蒙，踩个坑就好了。对于LlamaFactory微调来说，本身不难，毕竟都是配置；主要是在内网环境下的依赖包拉取安装是真麻烦，但其实也还好。走一遍的话，还是可以学到很多的。​。
pytharm2020.1.1配置lxml_html
08-10
接下来，可以利用lxml_html模块来解析HTML文档。例如，可以使用html.fromstring()方法将HTML字符串转换为可操作的Element对象。以下是一个示例代码： ```python html_str = "<html><body><h1>Hello, World!</h1></...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

vip飞梦

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值