lxml:提取html标签中的内容

最新推荐文章于 2024-05-11 14:34:52 发布
最新推荐文章于 2024-05-11 14:34:52 发布
阅读量2.1k 收藏 4
点赞数
分类专栏： 爬虫 文章标签： html 前端
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yeshang_lady/article/details/122370152
版权

  lxml中有多种方式可以提取HTML标签中的内容，这篇博客的重点在于各个方法的不同。

import lxml
from lxml import etree
import collections

doc='''
<html>
 <head>
  <base href='http://example.com/' />
  <title>Example website</title>
 </head>
 <body>
  <div id='images'>
   <a href='image1.html' id="xxx">Name: My image 1 <br /><img src='image1_thumb.jpg' /></a>
   <h5>test</h5>
   <a href='image2.html'>Name: My image 2 <br /><img src='image2_thumb.jpg' /></a>
   <a href='image3.html'>Name: My image 3 <br /><img src='image3_thumb.jpg' /></a>
   <a href='image4.html'>Name: My image 4 <br /><img src='image4_thumb.jpg' /></a>
   <a href='image5.html' class='li li-item' name='items'>Name: My image 5 <br /><img src='image5_thumb.jpg' /></a>
   <a href='image6.html' name='items'><span><h5>test</h5></span>Name: My image 6 <br /><img src='image6_thumb.jpg' /></a>
   <p>hello world hello world <strong> hello world,hello world</strong>你好啊，李银河</p>
  </div>
 </body>
</html>
'''
html=etree.HTML(doc)
tree=html.getroottree()
all_nodes=html.xpath('//*')
xpath=[]
for node in all_nodes:
    xpath.append(tree.getpath(node))
    
print('==============node.text方法=====================')
for node,path in zip(all_nodes,xpath):
    print('{}:  {}'.format(path,node.text))
print('==============node.itertext方法=====================')
for node,path in zip(all_nodes,xpath):
    print('{}:  {}'.format(path,''.join(node.itertext())))
print('==============xpath方法=====================')
for node,path in zip(all_nodes,xpath):
    print('{}:  {}'.format(path,''.join(html.xpath(path+'//text()'))))

node.text结果如下：

==============node.text方法=====================
/html:  
 
/html/head:  
  
/html/head/base:  None
/html/head/title:  Example website
/html/body:  
  
/html/body/div:  
   
/html/body/div/a[1]:  Name: My image 1 
/html/body/div/a[1]/br:  None
/html/body/div/a[1]/img:  None
/html/body/div/h5:  test
/html/body/div/a[2]:  Name: My image 2 
/html/body/div/a[2]/br:  None
/html/body/div/a[2]/img:  None
/html/body/div/a[3]:  Name: My image 3 
/html/body/div/a[3]/br:  None
/html/body/div/a[3]/img:  None
/html/body/div/a[4]:  Name: My image 4 
/html/body/div/a[4]/br:  None
/html/body/div/a[4]/img:  None
/html/body/div/a[5]:  Name: My image 5 
/html/body/div/a[5]/br:  None
/html/body/div/a[5]/img:  None
/html/body/div/a[6]:  None
/html/body/div/a[6]/span:  None
/html/body/div/a[6]/span/h5:  test
/html/body/div/a[6]/br:  None
/html/body/div/a[6]/img:  None
/html/body/div/p:  hello world hello world 
/html/body/div/p/strong:   hello world,hello world

node.itertext结果如下：

/html:  
 
  
  Example website
 
 
  
   Name: My image 1 
   test
   Name: My image 2 
   Name: My image 3 
   Name: My image 4 
   Name: My image 5 
   testName: My image 6 
   hello world hello world  hello world,hello world你好啊，李银河
  
 

/html/head:  
  
  Example website
 
/html/head/base:  
/html/head/title:  Example website
/html/body:  
  
   Name: My image 1 
   test
   Name: My image 2 
   Name: My image 3 
   Name: My image 4 
   Name: My image 5 
   testName: My image 6 
   hello world hello world  hello world,hello world你好啊，李银河
  
 
/html/body/div:  
   Name: My image 1 
   test
   Name: My image 2 
   Name: My image 3 
   Name: My image 4 
   Name: My image 5 
   testName: My image 6 
   hello world hello world  hello world,hello world你好啊，李银河
  
/html/body/div/a[1]:  Name: My image 1 
/html/body/div/a[1]/br:  
/html/body/div/a[1]/img:  
/html/body/div/h5:  test
/html/body/div/a[2]:  Name: My image 2 
/html/body/div/a[2]/br:  
/html/body/div/a[2]/img:  
/html/body/div/a[3]:  Name: My image 3 
/html/body/div/a[3]/br:  
/html/body/div/a[3]/img:  
/html/body/div/a[4]:  Name: My image 4 
/html/body/div/a[4]/br:  
/html/body/div/a[4]/img:  
/html/body/div/a[5]:  Name: My image 5 
/html/body/div/a[5]/br:  
/html/body/div/a[5]/img:  
/html/body/div/a[6]:  testName: My image 6 
/html/body/div/a[6]/span:  test
/html/body/div/a[6]/span/h5:  test
/html/body/div/a[6]/br:  
/html/body/div/a[6]/img:  
/html/body/div/p:  hello world hello world  hello world,hello world你好啊，李银河
/html/body/div/p/strong:   hello world,hello world

xpath结果如下：


==============xpath方法=====================
/html:  
 
  
  Example website
 
 
  
   Name: My image 1 
   test
   Name: My image 2 
   Name: My image 3 
   Name: My image 4 
   Name: My image 5 
   testName: My image 6 
   hello world hello world  hello world,hello world你好啊，李银河
  
 

/html/head:  
  
  Example website
 
/html/head/base:  
/html/head/title:  Example website
/html/body:  
  
   Name: My image 1 
   test
   Name: My image 2 
   Name: My image 3 
   Name: My image 4 
   Name: My image 5 
   testName: My image 6 
   hello world hello world  hello world,hello world你好啊，李银河
  
 
/html/body/div:  
   Name: My image 1 
   test
   Name: My image 2 
   Name: My image 3 
   Name: My image 4 
   Name: My image 5 
   testName: My image 6 
   hello world hello world  hello world,hello world你好啊，李银河
  
/html/body/div/a[1]:  Name: My image 1 
/html/body/div/a[1]/br:  
/html/body/div/a[1]/img:  
/html/body/div/h5:  test
/html/body/div/a[2]:  Name: My image 2 
/html/body/div/a[2]/br:  
/html/body/div/a[2]/img:  
/html/body/div/a[3]:  Name: My image 3 
/html/body/div/a[3]/br:  
/html/body/div/a[3]/img:  
/html/body/div/a[4]:  Name: My image 4 
/html/body/div/a[4]/br:  
/html/body/div/a[4]/img:  
/html/body/div/a[5]:  Name: My image 5 
/html/body/div/a[5]/br:  
/html/body/div/a[5]/img:  
/html/body/div/a[6]:  testName: My image 6 
/html/body/div/a[6]/span:  test
/html/body/div/a[6]/span/h5:  test
/html/body/div/a[6]/br:  
/html/body/div/a[6]/img:  
/html/body/div/p:  hello world hello world  hello world,hello world你好啊，李银河
/html/body/div/p/strong:   hello world,hello world

总结：

  1. node.text 在取文本时不会包含该节点的子节点里的内容。
  2. node.itertext和xpath方法可以将其子节点中的内容都包含进去。并且这两种方法取得文本内容相同。
Sun_Sherry
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
lxml html all text,在lxml中获取标签内的所有文本
weixin_33902301的博客
06-18 1759
尝试：def stringify_children(node): from lxml.etree import tostring from itertools import chain parts = ([node.text] + list(chain(*([c.text, tostring(c), c.tail] for c in node.getchildren()))) + [node.ta...
lxml读取本地html文件,如何使用Python和lxml来解析本地html文件？
weixin_36023533的博客
06-28 1259
我在python中使用本地html文件,我正在尝试使用lxml来解析文件.由于某种原因,我无法正确加载文件,我不确定这是否与我的本地计算机上没有设置http服务器,etree用法或其他内容有关.这是我的代码:from lxml import htmlimport requestspage = requests.get('C:\Users\...\sites\site_1.html')tree = ...
解析html之lxml包，提取html的数据
qq_41915576的博客
07-10 972
解析html之lxml包 1 lxml的安装 安装方式：pip install lxml 2 lxml的使用 2.1 lxml模块的入门使用 导入lxml 的 etree 库 (导入没有提示不代表不能用) from lxml import etree 利用etree.HTML，将字符串转化为Element对象,Element对象具有xpath的方法,返回结果的列表，能够接受bytes类型的数据和s...
基于jsoup库自定义解析HTML源文件，提取元素中的内容以及属性（后续更新...）
最新发布
qq_43684017的博客
05-11 865
对HTML数据的解析处理
正则表达式提取html标签
jincenlong58的专栏
07-25 639
(.+?)
【Python beautiful soup】如何用beautiful soup 解析HTML内容
weixin_50409347的博客
05-20 7101
美丽汤（Beautiful Soup）是一个流行的Python库，用于从HTML或XML文件中提取数据。它将复杂的HTML文件转化为一个Python对象，使得用户可以更方便地解析、搜索和修改HTML内容。本文将介绍如何使用Beautiful Soup解析HTML内容，并给出参考资料和优秀实践。一、Beautiful Soup的基本使用1.安装要使用BeautifulSoup，首先需要安装它。2.导入3.获取HTML要在BeautifulSoup中解析HTML，需要先将HTML文件读取为字符串。
用python3教你任意Html主内容提取功能
09-20
在网页数据抓取和分析中，提取HTML主内容是一项重要的任务，它通常涉及从HTML源代码中定位并提取我们感兴趣的文本。Python3提供了丰富的库来帮助实现这一目标，其中最常用的包括requests、lxml和json。本文将深入...
Python lxml解析HTML并用xpath获取元素的方法
09-19
在Python编程中，处理HTML文档时经常会用到各种库，其中lxml是一个高效且功能强大的库，它结合了libxml2和...在实际开发中，结合lxml库和XPath，我们可以方便地解析和操作HTML文档，实现自动化抓取、数据提取等任务。
htmlStruc:从html文档中提取html元素的结构
03-21
1. 解析HTML文档：通过读取HTML文件或HTTP响应，使用BeautifulSoup或lxml解析HTML内容，将其转化为可操作的对象树。 2. 遍历元素结构：遍历整个DOM（Document Object Model）树，访问每一个元素，获取其标签名、属性...
选择：从HTML和XML文档提取数据的API
02-07
在IT领域，从HTML和XML文档中提取数据是一项常见的任务，尤其在网页抓取、数据分析和自动化处理中。本文将详细介绍几种常用的API和技术，帮助开发者有效地进行数据提取。 首先，HTML（HyperText Markup Language）...
XPATH 常用几种方式
ijoanne
11-26 1188
# h1 = doc.xpath('//h1/text()') # print(h1) # 获取a标签的href属性 # a_attrs = doc.xpath('//a/attribute::href') # a_texts = doc.xpath('//a/text()') content = doc.xpath('//div[contains(@class, "article-content")]') fn:contains(string1,str...
01-lxml解析html代码和文件（python爬虫）
G_GUi的博客
10-15 364
01-lxml解析html代码和文件
大数据：lxml解析html文件（网页）
xuehyunyu的博客
07-06 2844
lxml是Python的一个html/xml解析并建立dom的库，lxml的特点是功能强大，性能也不错，xml包含了ElementTree ，html5lib ，beautfulsoup 等库。   使用lxml前注意事项：先确保html经过了utf-8解码，即code =html.decode('utf-8', 'ignore')，否则会出现解析出错情况。因为中文被编码成utf-8之后变成
lxml解析html简单使用
铁马冰河入梦来
11-16 1881
1.解析html字符串：使用lxml.etree.HTML进行解析，示例代码如下： htmlElement = etree.HTML(text) print (etree.tostring(htmlElement,encoding='utf-8').decode('utf-8')) 2.解析html文件：使用lxml.etree.parse进行解析，示例代码如下： htmlElement...
爬虫-用lxml解析HTML，用xpath（）方法提取数据
m0_46093829的博客
08-28 643
未完待续 一、Xpath 的官方网站：https://www.w3.org/TR/xpath/all/ 。 二、XPath简介 XPath，全称 XML Path Language，即 XML 路径语言，它是一门在XML文档中查找信息的语言。但是它同样适用于 HTML 文档的搜索。 所以在做爬虫时，我们完全可以使用 XPath 来做相应的信息抽取，XPath 的选择功能十分强大，它提供了非常简洁明了的路径选择表达式，另外它还提供了超过 100 个内建函数用于字符串、数值、时间的匹配以及节点、序列
数据结构--知识点16--搜索算法(二叉树)
ANingL的博客
09-06 2950
文章目录一、树的概念1、特点2、树的术语3、树的种类4、树的存储与表示5、常见的树的应用场景二、二叉树1、概念2、性质 一、树的概念 树是一种抽象数据类型(ADT)或是视作这种抽象数据类型的数据结构 1、特点 每个节点有零个或多个子节点 没有父节点的节点称为根节点 每一个非根节点有且只有一个父节点 除了根节点外，每个子节点可以分为**多个不相交(因为都只有一个父节点)**的子树 2、树的术语 节点的度：一个节点含有的子树的个数称为该节点的度 树的度：一棵树中，最大的节点的度称为树的度 叶节点或终端节点
使用lxml解析HTML网页并批量获取数据
lieren123567的博客
05-19 695
当我们需要从网页中获取一些需要的数据时，我们可以使用一些html网页分析的函数库来快速的获取数据。目前有多款解析HTML网页的第三方库可供使用，例如lxml，beautiful soup等等。下面以lxml为例从网页中爬取我们需要的统计数据 我希望从北京公交网站获取北京公交的所有线路信息，从而为后续处理做准备 首先引用requests用于向网页发出访问请求，获取html网页原始数据 import requests 再引用lxml中的etree类 import lxml.etree 首先输入我们起始的爬取地址
MVC如何将PDF转换成HTML,如何使用iTextSharp将HTML转换为PDF
weixin_39638708的博客
05-31 243
首先，HTML和PDF并不相关，尽管它们是在同一时间创建的。HTML旨在传递更高级别的信息，如段落和表。虽然有控制它的方法，但最终要由浏览器来绘制这些更高层次的概念。PDF意在传达文件和文件必不管它们呈现在哪里，“看”都是一样的。在HTML文档中，你可能有一个100%宽的段落，取决于显示器的宽度，它可能需要2行或10行，当你打印的时候可能是7行，当你在手机上看它时，它可能需要20行。然而，PDF文...
bs4提取标签中的内容
07-12
你可以使用BeautifulSoup库（通常简称为bs4）来提取HTML或XML文档中标签的内容。下面是一个简单的示例代码，演示如何使用bs4提取标签中的内容： ```python from bs4 import BeautifulSoup # 假设有一个HTML文档，...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值