python html parser库lxml的介绍和使用

最新推荐文章于 2024-09-04 10:53:03 发布
最新推荐文章于 2024-09-04 10:53:03 发布
阅读量631 收藏
点赞数
分类专栏： Python&爬虫 文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/pyzheng/article/details/84484820
版权
使用由 Python 编写的 lxml 实现高性能 XML 解析 [url]http://blog.csdn.net/yatere/article/details/6667043[/url]

[color=darkblue][size=x-large]用lxml解析HTML[/size][/color][url]http://www.cnblogs.com/descusr/archive/2012/06/20/2557075.html[/url]


分步遍历：比先遍历得到body的某个div,然后在使用这个div的内容做遍历基础，继续通过它往下遍历 
def scanningHotArticle(url):
    print url
    request=requests.get(url)
    dom=soupparser.fromstring(request.content)
    body=dom[1]
    articleList=body.xpath("//div[@class='block untagged mb15 bs2']")
    for article in articleList:
        articleStr= etree.tostring(article)
        articleBody=soupparser.fromstring(articleStr)
        print len(articleBody.xpath("//div[@class='detail']"))

结构是body-*->div[class='block untagged mb15 bs2'],这个div下面又存在许多div,然后把这个div当作根节点，在继续xpath查找下面的元素。


[size=x-large][color=red]python html parser库lxml的介绍和使用（快速入门）[/color][/size]
[url]http://blog.csdn.net/marising/article/details/5821090[/url]
lxm是python的一个html/xml解析并建立dom的库，lxml的特点是功能强大，性能也不错，xml包含了ElementTree ，html5lib ，beautfulsoup 等库，但是lxml也有自己相对应的库，所以，导致lxml比较复杂，初次使用者很难了解其关系。

[b]1. 解析html并建立dom[/b] 
>>> import lxml.etree as etree

>>> html = '<html><body id="1">abc<div>123</div>def<div>456</div>ghi</body></html>'
>>> dom = etree.fromstring(html)
>>> etree.tostring(dom)
'<html><body id="1">abc<div>123</div>def<div>456</div>ghi</body></html>'



如果用beautifulsoup的解析器，则 
>>> import lxml.html.soupparser as soupparser
>>> dom = soupparser.fromstring(html)
>>> etree.tostring(dom)
'<html><body id="1">abc<div>123</div>def<div>456</div>ghi</body></html>'

但是我强烈建议使用soupparser，因为其处理不规范的html的能力比etree强太多。



[b]2. 按照Dom访问Element[/b]
[b]子元素长度[/b] 
>>> len(dom)
1


[b]访问子元素：[/b] 
>>> dom[0].tag
'body'


[b]循环访问：[/b] 
>>> for child in dom:
...     print child.tag
... 
body


[b]查看节点索引[/b] 
>>>body = dom[0]
>>> dom.index(body)
0


[b]字节点获取父节点[/b] 
>>> body.getparent().tag
'html'


[b]访问所有子节点[/b] 
>>> for ele in dom.iter():
...     print ele.tag
... 
html
body
div
div

[b]遍历和打印所有子节点：[/b] 
>>> children = list(root)
>>> for child in root:
... print(child.tag)


[b]元素的兄弟或邻居节点是通过next和previous属性来访问的[/b]
The siblings (or neighbours) of an element are accessed as next and previous elements: 
>>> root[0] is root[1].getprevious() # lxml.etree only! 
True 
>>> root[1] is root[0].getnext() # lxml.etree only! 
True


[b]3. 访问节点属性[/b] 
>>> body.get('id')
'1'

也可以这样 
>>> attrs = body.attrib
>>> attrs.get('id')
'1'


[b]带属性的元素[/b]
XML元素支持属性，可以用Element工厂方法直接创建。 
>>> root = etree.Element("root", interesting="totally")
>>> etree.tostring(root)
b’<root interesting="totally"/>’


[b]可以使用set和get方法访问这些属性[/b]： 
>>> print root.get("interesting")
totally
>>> root.set("interesting", "somewhat")
>>> print root.get("interesting")
somewhat


也可以使用attrib性质的字典接口 
>>> attributes = root.attrib
>>> print(attributes["interesting"])
somewhat
>>> print(attributes.get("hello"))
None
>>> attributes["hello"] = "Guten Tag"
>>> print(attributes.get("hello"))
Guten Tag
>>> print(root.get("hello"))
Guten Tag



[b]4. 访问Element的内容[/b] 
>>> body.text
'abc'
>>> body.tail

text只是从本节点开始到第一个字节点结束；tail是从最后一个字节结束到本节点未知。

[b]访问本节点所有文本信息[/b] 
>>> body.xpath('text()')
['abc', 'def', 'ghi']



[b]访问本节点和子节点所有文本信息[/b] 
>>> body.xpath('//text()')
['abc', '123', 'def', '456', 'ghi']


貌似返回本文档中所有文字信息
body.text_content()返回本节点所有文本信息。

[b]5.Xpath的支持[/b] 
所有的div元素
>>> for ele in dom.xpath('//div'):
...     print ele.tag
... 
div
div

[b]
id=“1”的元素[/b] 
>>> dom.xpath('//*[@id="1"]')[0].tag
'body'



[b]body下的第1个div[/b] 
>>> dom.xpath('body/div[1]')[0].tag
'div'



参考：
lxml的官方文档：[url]http://codespeak.net/lxml/[/url]
HtmlParser的性能：[url]http://blog.ianbicking.org/2008/03/30/python-html-parser-performance/[/url]
不净之心
关注
专栏目录
Python基础入门之网络爬虫利器：lxml详解
qq_72290695的博客
06-26 1万+
本文详细介绍了lxml库的使用方法，包括解析HTML和XML文档、XPath定位、数据提取、元素修改和删除、处理命名空间、解析大型文档等。lxml是一款功能强大且高效的网络爬虫工具，可以帮助你轻松地进行数据采集和信息提取。在Python中，lxml库是一款功能强大且高效的网络爬虫工具，具有解析HTML和XML文档、XPath定位、数据提取等功能。除了HTML文档，lxml还可以解析XML文档。当解析带有命名空间的XML文档时，可以使用lxml来处理命名空间。lxml不仅可以解析和提取数据，还可以修改元素。
lxml_Python下的高性能xml跟html解析
12-12
lxml 是一种使用 Python 编写的库，可以迅速、灵活地处理 XML。它支持 XML Path Language (XPath) 和 Extensible Stylesheet Language Transformation (XSLT)，并且实现了常见的 ElementTree API。
python中lxml的应用
muzizongheng的专栏
05-29 3088
首先下载lxml， http://www.lfd.uci.edu/~gohlke/pythonlibs/ ，然后添加引用 from lxml import _elementpath as DONTUSE from lxml import etree 具体示例： 1.添加命名空间 #set namespace nsmap = {"xsi": "h
【Python】HTMLParser：HTML解析
最新发布
2303_80346267的博客
09-04 1145
创建自定义解析器类，继承HTMLParserfrom html . parser import HTMLParser # 创建自定义解析器类，继承HTMLParser class MyHTMLParser(HTMLParser) : def handle_starttag(self , tag , attrs) : print(f"Start tag: {
python的lxml库简介_Python之lxml库学习笔记一
weixin_39719476的博客
12-03 384
lxml takes all the pain out of XML.Stephan Richterlxml是Python语言里和XML以及HTML工作的功能最丰富和最容易使用的库。lxml是为libxml2和libxslt库的一个Python化的绑定。它与众不同的地方是它兼顾了这些库的速度和功能完整性，以及纯Python API的简洁性，大部分与熟知的ElementTree API兼容但比之更...
lxml库介绍及实例
weixin_34295316的博客
10-30 822
XPath常用规则 表达式 描述 nodename 选取此节点的所有子节点 / 从当前节点选取直接子节点 // 从当前节点选取子孙节点 . 选取当前节点 .. 选取当前节点的父节点 @ 选取属性 html = lxml.etree.HTML(text)#使用text构造一个XPath解析对象,...
【网络爬虫】学习笔记：html.parser、lxml、html5lib 三种解析器的区别
X10的博客
04-05 5185
html.parser: html.parser 是Python3中的一个解析器，不需要单独安装。 （如果不是特殊场景的需要，大都使用这个解释器） lxml： 1.与 html.parserxingmu ,lxml的优点：在于解析"杂乱"或者包含错误语法的HTML代码的性能更优一些。 2.（它可以容忍并修正一些问题，例如未闭合的标签、未正确嵌套的标签，以及缺失的头（head）标签或正文（body）标签。） 3.（lxml 也比 html.parser 更快，但是考虑到网络本身的速度将总是你最大的瓶颈，在
Python 第三方库 lxml
KevinStarry
09-27 945
通俗的来讲，lxml对C语言libxml2和libxslt绑定的Pythonic风格的代码。
python lxml3.8.0 源包
06-29
`lxml`是Python中一个强大的XML和HTML处理库，它结合了C语言的`libxml2`和`libxslt`库，提供了高速、高效的XML和HTML解析、生成以及XPath、XSLT的支持。在Python生态中，lxml因其出色的性能和丰富的功能而被广泛使用...
Python BS4库的安装与使用详解
09-20
本文将详细介绍如何安装和使用BS4库。 首先，让我们了解如何安装BS4。在Python环境中，最常用的方法是通过pip这个包管理器来安装。打开命令行终端，输入以下命令： ```bash pip install beautifulsoup4 ``` 执行...
深入解析Python的lxml库：高效处理XML和HTML的利器
04-06 2504
Python的lxml库是一个功能强大的XML和HTML处理工具，具有快速解析、XPath定位、XSLT转换、HTML解析等多项特性和功能。通过本文的介绍和示例代码，希望大家能够全面了解lxml库的使用方法和实际应用场景，从而更好地进行XML和HTML处理工作。
python的lxml库简介_lxml库
weixin_33954881的博客
02-21 1106
lxml 是 一个HTML/XML的解析器，主要的功能是如何解析和提取 HTML/XML 数据。lxml和正则一样，也是用 C 实现的，是一款高性能的 Python HTML/XML 解析器，我们可以利用之前学习的XPath语法，来快速的定位特定元素以及节点信息。需要安装C语言库，可使用 pip 安装：pip install lxml基本使用：我们可以利用他来解析HTML代码，并且在解析HTML代...
Python--lxml库的简单介绍及基本使用
热门推荐
pinuscembra的博客
07-19 1万+
lxml库简单介绍和基本使用1.lxml库介绍2.安装lxml方法3.基本使用 1.lxml库介绍 lxml是XML和HTML的解析器，其主要功能是解析和提取XML和HTML中的数据；lxml和正则一样，也是用C语言实现的，是一款高性能的python HTML、XML解析器，也可以利用XPath语法，来定位特定的元素及节点信息 HTML是超文本标记语言，主要用于显示数据，他的焦点是数据的外观 XML是可扩展标记语言，主要用于传输和存储数据，他的焦点是数据的内容 2.安装lxml方法 方法1: 在cmd运行窗
BeautifulSoup 中 ‘lxml’ 和 ‘html.parser’有什么区别？
weixin_68265795的博客
11-17 8041
BeautifulSoup 支持的常见解析器有四种：html.parser，lxml，lxml-xml，html5lib。
python - crawler 之 lxml parse & lxml解析html
开码河粉
02-04 920
目录 1.lxml常用操作 (1)常用的路径表达式 (2)选取父子兄弟节点 (3)功能函数进行模糊搜索 (4)使用正则表达式定位节点 (5)XPath表达式中的运算符 2.lxml 3种常见解析案例 (1)lxml解析本地文件 (2)lxml与selenium结合案例 (3)lxml与request结合案例 (4)多属性匹配 (5)列出html所有节点 1.lxml常用操作 紧记，lxml返回结果是一个列表。 (1)常用的路径表达式 nodename 选取nodenam.
【Python lxml、BeautifulSoup和html.parser区别介绍】零基础也能轻松掌握的学习路线与参考资料
weixin_50409347的博客
05-23 935
lxml适用于处理较大的XML文件，如果你需要解析和操作大型的XML文件，那么lxml是一个不错的选择，因为lxml提供了高效的内存管理机制和先进的XPath选择器语法。通过html.parser可以轻松地解析HTML文档中的数据，本实践介绍了如何使用html.parser解析HTML格式的网页数据，并提取出所需的数据。html.parser官方文档：https://docs.python.org/3/library/html.parser.html。lxml官方文档：http://lxml.de/
html.parser python_python网络爬虫之LXML与HTMLParser
weixin_39880621的博客
12-13 361
Python lxml包用于解析html和XML文件，个人觉得比beautifulsoup要更灵活些Lxml中的路径表达式如下：在下面的表格中，我们已列出了一些路径表达式以及表达式的结果：路径表示中还可以选取多个路径，使用’|’运算符，比如下面的样子：//book/title | //book/price 选取book 元素的所有title 和price 元素。下面就来看下lxml的用法：还是用我...
python与html区别,python：“ lxml”和“ html.parser”之间的区别和“ html5lib”配上漂亮的汤？...
weixin_29446529的博客
12-07 282
When using beautiful soup what is the difference between 'lxml' and "html.parser" and "html5lib"? When would you use one over the other and the benefits of each? from the times i used each they seem ...
lxml，一个超牛的Python库
黑马非马的博客
08-30 1772
lxml是一个基于 Python 的库，用于处理 XML 和 HTML。它提供了简洁而高效的接口，以及快速的解析和搜索功能，常用于网络爬虫、数据解析等领域。
python使用BeautifulSoup和lxml解析页面
07-24
Python 使用 `BeautifulSoup` 和 `lxml` 这两个库都是为了从 HTML 或 XML 文档中提取信息。它们主要用于网页爬取、数据抓取以及自动化处理网页内容。 ### Beautiful Soup **简介**: `BeautifulSoup` 是一个 Python 库，用于解析 HTML 或 XML 文件并提供一种简单的方式来提取和操作其结构化数据。它会将文件视为树形结构，并允许用户通过名称、属性或其他特征搜索元素。 #### 使用步骤: 1. **安装**: 可以通过 pip 安装 `beautifulsoup4`: ```bash pip install beautifulsoup4 ``` 2. **基本用法**: 首先导入 BeautifulSoup 并创建一个解析器对象，然后将其应用于 HTML 字符串。 ```python from bs4 import BeautifulSoup html_doc = """ <html><head><title>The Dormouse's story</title></head> <body> <p class="title"><b>The Dormouse's story</b></p> <p class="story">Once upon a time there were three little sisters; and their names were <a href="http://example.com/elsie" class="sister" id="link1">Elsie</a>, <a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and <a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>; </p> ... """ soup = BeautifulSoup(html_doc, 'html.parser') print(soup.title.string) # 输出<title>标签内的文本 ``` ### LXML **简介**: `lxml` 是一个强大的 HTML/XML 解析库，提供了比 `BeautifulSoup` 更快速更全面的 XML 和 HTML 解析功能。它整合了 libxml2 的所有特性，并且有完整的 DOM API 支持。 #### 使用步骤: 1. **安装**: ``` pip install lxml ``` 2. **基本用法**: 与 `BeautifulSoup` 类似，你可以使用 `lxml.html` 来解析 HTML。 ```python from lxml import html html_text = """ <!DOCTYPE html> <html> <body> <p>...</p> </body> </html> """ root = html.fromstring(html_text) for link in root.xpath('//a'): print(link.text_content()) ``` ### 对比 - **性能**: `lxml` 因其底层依赖于 C 编写的 libxml2，通常在大量数据处理时速度更快。 - **功能**: `lxml` 提供更多高级功能和优化，如 XPath 支持等，对于复杂的数据抽取需求更有优势。 - **易用性**: `BeautifulSoup` 相对更易于学习和使用，特别是对于初学者来说。 ###
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值