lxml:提取html标签中的内容

最新推荐文章于 2024-05-11 14:34:52 发布
最新推荐文章于 2024-05-11 14:34:52 发布
阅读量2.2k 收藏 4
点赞数
分类专栏： 爬虫 文章标签： html 前端
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yeshang_lady/article/details/122370152
版权

  lxml中有多种方式可以提取HTML标签中的内容，这篇博客的重点在于各个方法的不同。

import lxml
from lxml import etree
import collections

doc='''
<html>
 <head>
  <base href='http://example.com/' />
  <title>Example website</title>
 </head>
 <body>
  <div id='images'>
   <a href='image1.html' id="xxx">Name: My image 1 <br /><img src='image1_thumb.jpg' /></a>
   <h5>test</h5>
   <a href='image2.html'>Name: My image 2 <br /><img src='image2_thumb.jpg' /></a>
   <a href='image3.html'>Name: My image 3 <br /><img src='image3_thumb.jpg' /></a>
   <a href='image4.html'>Name: My image 4 <br /><img src='image4_thumb.jpg' /></a>
   <a href='image5.html' class='li li-item' name='items'>Name: My image 5 <br /><img src='image5_thumb.jpg' /></a>
   <a href='image6.html' name='items'><span><h5>test</h5></span>Name: My image 6 <br /><img src='image6_thumb.jpg' /></a>
   <p>hello world hello world <strong> hello world,hello world</strong>你好啊，李银河</p>
  </div>
 </body>
</html>
'''
html=etree.HTML(doc)
tree=html.getroottree()
all_nodes=html.xpath('//*')
xpath=[]
for node in all_nodes:
    xpath.append(tree.getpath(node))
    
print('==============node.text方法=====================')
for node,path in zip(all_nodes,xpath):
    print('{}:  {}'.format(path,node.text))
print('==============node.itertext方法=====================')
for node,path in zip(all_nodes,xpath):
    print('{}:  {}'.format(path,''.join(node.itertext())))
print('==============xpath方法=====================')
for node,path in zip(all_nodes,xpath):
    print('{}:  {}'.format(path,''.join(html.xpath(path+'//text()'))))

node.text结果如下：

==============node.text方法=====================
/html:  
 
/html/head:  
  
/html/head/base:  None
/html/head/title:  Example website
/html/body:  
  
/html/body/div:  
   
/html/body/div/a[1]:  Name: My image 1 
/html/body/div/a[1]/br:  None
/html/body/div/a[1]/img:  None
/html/body/div/h5:  test
/html/body/div/a[2]:  Name: My image 2 
/html/body/div/a[2]/br:  None
/html/body/div/a[2]/img:  None
/html/body/div/a[3]:  Name: My image 3 
/html/body/div/a[3]/br:  None
/html/body/div/a[3]/img:  None
/html/body/div/a[4]:  Name: My image 4 
/html/body/div/a[4]/br:  None
/html/body/div/a[4]/img:  None
/html/body/div/a[5]:  Name: My image 5 
/html/body/div/a[5]/br:  None
/html/body/div/a[5]/img:  None
/html/body/div/a[6]:  None
/html/body/div/a[6]/span:  None
/html/body/div/a[6]/span/h5:  test
/html/body/div/a[6]/br:  None
/html/body/div/a[6]/img:  None
/html/body/div/p:  hello world hello world 
/html/body/div/p/strong:   hello world,hello world

node.itertext结果如下：

/html:  
 
  
  Example website
 
 
  
   Name: My image 1 
   test
   Name: My image 2 
   Name: My image 3 
   Name: My image 4 
   Name: My image 5 
   testName: My image 6 
   hello world hello world  hello world,hello world你好啊，李银河
  
 

/html/head:  
  
  Example website
 
/html/head/base:  
/html/head/title:  Example website
/html/body:  
  
   Name: My image 1 
   test
   Name: My image 2 
   Name: My image 3 
   Name: My image 4 
   Name: My image 5 
   testName: My image 6 
   hello world hello world  hello world,hello world你好啊，李银河
  
 
/html/body/div:  
   Name: My image 1 
   test
   Name: My image 2 
   Name: My image 3 
   Name: My image 4 
   Name: My image 5 
   testName: My image 6 
   hello world hello world  hello world,hello world你好啊，李银河
  
/html/body/div/a[1]:  Name: My image 1 
/html/body/div/a[1]/br:  
/html/body/div/a[1]/img:  
/html/body/div/h5:  test
/html/body/div/a[2]:  Name: My image 2 
/html/body/div/a[2]/br:  
/html/body/div/a[2]/img:  
/html/body/div/a[3]:  Name: My image 3 
/html/body/div/a[3]/br:  
/html/body/div/a[3]/img:  
/html/body/div/a[4]:  Name: My image 4 
/html/body/div/a[4]/br:  
/html/body/div/a[4]/img:  
/html/body/div/a[5]:  Name: My image 5 
/html/body/div/a[5]/br:  
/html/body/div/a[5]/img:  
/html/body/div/a[6]:  testName: My image 6 
/html/body/div/a[6]/span:  test
/html/body/div/a[6]/span/h5:  test
/html/body/div/a[6]/br:  
/html/body/div/a[6]/img:  
/html/body/div/p:  hello world hello world  hello world,hello world你好啊，李银河
/html/body/div/p/strong:   hello world,hello world

xpath结果如下：


==============xpath方法=====================
/html:  
 
  
  Example website
 
 
  
   Name: My image 1 
   test
   Name: My image 2 
   Name: My image 3 
   Name: My image 4 
   Name: My image 5 
   testName: My image 6 
   hello world hello world  hello world,hello world你好啊，李银河
  
 

/html/head:  
  
  Example website
 
/html/head/base:  
/html/head/title:  Example website
/html/body:  
  
   Name: My image 1 
   test
   Name: My image 2 
   Name: My image 3 
   Name: My image 4 
   Name: My image 5 
   testName: My image 6 
   hello world hello world  hello world,hello world你好啊，李银河
  
 
/html/body/div:  
   Name: My image 1 
   test
   Name: My image 2 
   Name: My image 3 
   Name: My image 4 
   Name: My image 5 
   testName: My image 6 
   hello world hello world  hello world,hello world你好啊，李银河
  
/html/body/div/a[1]:  Name: My image 1 
/html/body/div/a[1]/br:  
/html/body/div/a[1]/img:  
/html/body/div/h5:  test
/html/body/div/a[2]:  Name: My image 2 
/html/body/div/a[2]/br:  
/html/body/div/a[2]/img:  
/html/body/div/a[3]:  Name: My image 3 
/html/body/div/a[3]/br:  
/html/body/div/a[3]/img:  
/html/body/div/a[4]:  Name: My image 4 
/html/body/div/a[4]/br:  
/html/body/div/a[4]/img:  
/html/body/div/a[5]:  Name: My image 5 
/html/body/div/a[5]/br:  
/html/body/div/a[5]/img:  
/html/body/div/a[6]:  testName: My image 6 
/html/body/div/a[6]/span:  test
/html/body/div/a[6]/span/h5:  test
/html/body/div/a[6]/br:  
/html/body/div/a[6]/img:  
/html/body/div/p:  hello world hello world  hello world,hello world你好啊，李银河
/html/body/div/p/strong:   hello world,hello world

总结：

  1. node.text 在取文本时不会包含该节点的子节点里的内容。
  2. node.itertext和xpath方法可以将其子节点中的内容都包含进去。并且这两种方法取得文本内容相同。
Sun_Sherry
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
lxml读取本地html文件,如何使用Python和lxml来解析本地html文件？
weixin_36023533的博客
06-28 1261
我在python中使用本地html文件,我正在尝试使用lxml来解析文件.由于某种原因,我无法正确加载文件,我不确定这是否与我的本地计算机上没有设置http服务器,etree用法或其他内容有关.这是我的代码:from lxml import htmlimport requestspage = requests.get('C:\Users\...\sites\site_1.html')tree = ...
lxml html all text,在lxml中获取标签内的所有文本
weixin_33902301的博客
06-18 1766
尝试：def stringify_children(node): from lxml.etree import tostring from itertools import chain parts = ([node.text] + list(chain(*([c.text, tostring(c), c.tail] for c in node.getchildren()))) + [node.ta...
大数据：lxml解析html文件（网页）
xuehyunyu的博客
07-06 2847
lxml是Python的一个html/xml解析并建立dom的库，lxml的特点是功能强大，性能也不错，xml包含了ElementTree ，html5lib ，beautfulsoup 等库。   使用lxml前注意事项：先确保html经过了utf-8解码，即code =html.decode('utf-8', 'ignore')，否则会出现解析出错情况。因为中文被编码成utf-8之后变成
基于jsoup库自定义解析HTML源文件，提取元素中的内容以及属性（后续更新...）
最新发布
qq_43684017的博客
05-11 879
对HTML数据的解析处理
解析html之lxml包，提取html的数据
qq_41915576的博客
07-10 976
解析html之lxml包 1 lxml的安装 安装方式：pip install lxml 2 lxml的使用 2.1 lxml模块的入门使用 导入lxml 的 etree 库 (导入没有提示不代表不能用) from lxml import etree 利用etree.HTML，将字符串转化为Element对象,Element对象具有xpath的方法,返回结果的列表，能够接受bytes类型的数据和s...
使用lxml解析HTML网页并批量获取数据
lieren123567的博客
05-19 697
当我们需要从网页中获取一些需要的数据时，我们可以使用一些html网页分析的函数库来快速的获取数据。目前有多款解析HTML网页的第三方库可供使用，例如lxml，beautiful soup等等。下面以lxml为例从网页中爬取我们需要的统计数据 我希望从北京公交网站获取北京公交的所有线路信息，从而为后续处理做准备 首先引用requests用于向网页发出访问请求，获取html网页原始数据 import requests 再引用lxml中的etree类 import lxml.etree 首先输入我们起始的爬取地址
用python3教你任意Html主内容提取功能
09-20
在网页数据抓取和分析中，提取HTML主内容是一项重要的任务，它通常涉及从HTML源代码中定位并提取我们感兴趣的文本。Python3提供了丰富的库来帮助实现这一目标，其中最常用的包括requests、lxml和json。本文将深入...
Python lxml解析HTML并用xpath获取元素的方法
09-19
在Python编程中，处理HTML文档时经常会用到各种库，其中lxml是一个高效且功能强大的库，它结合了libxml2和...在实际开发中，结合lxml库和XPath，我们可以方便地解析和操作HTML文档，实现自动化抓取、数据提取等任务。
htmlStruc:从html文档中提取html元素的结构
03-21
1. 解析HTML文档：通过读取HTML文件或HTTP响应，使用BeautifulSoup或lxml解析HTML内容，将其转化为可操作的对象树。 2. 遍历元素结构：遍历整个DOM（Document Object Model）树，访问每一个元素，获取其标签名、属性...
选择：从HTML和XML文档提取数据的API
02-07
在IT领域，从HTML和XML文档中提取数据是一项常见的任务，尤其在网页抓取、数据分析和自动化处理中。本文将详细介绍几种常用的API和技术，帮助开发者有效地进行数据提取。 首先，HTML（HyperText Markup Language）...
python批量获取html文件中的表格内容，存储到db文件中
01-28
本示例中，我们关注的是如何批量从HTML文件中提取表格内容，并将这些数据存储到数据库（如SQLite的.db文件）中。以下是对这个过程的详细阐述： 首先，我们需要安装两个重要的Python库：`BeautifulSoup`和`sqlite3`...
提取html标签img
07-07
使用正则表达式完成提取html标签img
Python使用正则表达式去除(过滤)HTML标签提取文字功能
12-13
Python中的正则表达式是处理文本的强大工具，尤其在处理HTML文档时，它可以用来去除HTML标签，从而提取纯文本内容。在上述示例中，我们看到一个名为`filter_tags`的函数，它专门用于从HTML字符串中过滤掉标签并保留...
爬虫_数据提取值xpath和lxml模块学习
09-28
例如，如果我们想从一个网页中提取所有的标题（`<h1>`标签），我们可以使用XPath表达式`//h1`。更复杂的情况下，XPath还能处理属性选择、文本内容选择以及条件判断等，极大地增强了我们的数据定位能力。 lxml是...
python的xpath获取div标签内html内容,实现innerhtml功能的方法
09-19
总的来说，虽然Python的XPath不直接支持`innerHTML`操作，但通过结合`lxml`库和自定义函数，我们可以实现类似的功能，提取HTML标签内的完整内容。需要注意的是，处理HTML时应确保考虑到各种可能的复杂情况，如嵌套的...
Python程序设计：使用lxml库解析页面.pptx
06-13
lxml支持XPath中的通配符，如`*`代表任何标签名。例如，选取所有子元素： ```python all_children = root.xpath('/*') ``` **使用lxml库解析页面** 在实际应用中，例如抓取房屋信息，可以利用lxml解析网页源代码...
html标签提取,提取HTML标签分享
weixin_31978571的博客
06-27 232
function tags($filename,$tag) {$buffer = join("",file($filename));$buffer = eregi_replace("rn","",$buffer);$tagkey = sql_regcase($tag);$buffer = eregi_replace("$ar = split("n",$buffer);foreach($ar as ...
正则表达式提取html标签
jincenlong58的专栏
07-25 639
(.+?)
使用lxml解析HTML网页并批量获取数据案例
lieren123567的博客
04-25 732
当我们需要从网页中获取一些需要的数据时，我们可以使用一些html网页分析的函数库来快速的获取数据。目前有多款解析HTML网页的第三方库可供使用，例如lxml，beautiful soup等等。下面以lxml为例从网页中爬取我们需要的统计数据 我希望从北京公交网站获取北京公交的所有线路信息，从而为后续处理做准备 首先引用requests用于向网页发出访问请求，获取html网页原始数据 import requests 再引用lxml中的etree类 import lxml.etree 首先输入我们起始的爬取
bs4提取标签中的内容
07-12
你可以使用BeautifulSoup库（通常简称为bs4）来提取HTML或XML文档中标签的内容。下面是一个简单的示例代码，演示如何使用bs4提取标签中的内容： ```python from bs4 import BeautifulSoup # 假设有一个HTML文档，保存在变量html中 html = ''' <html> <head> <title>示例文档</title> </head> <body> <h1>这是一个标题</h1> <p>这是一个段落。</p> <a href="https://www.example.com">这是一个链接</a> </body> </html> ''' # 创建BeautifulSoup对象，并指定解析器为lxml soup = BeautifulSoup(html, 'lxml') # 使用find方法找到第一个h1标签，并提取其内容 h1_tag = soup.find('h1') h1_content = h1_tag.text print(h1_content) # 输出：这是一个标题 # 使用find方法找到第一个p标签，并提取其内容 p_tag = soup.find('p') p_content = p_tag.text print(p_content) # 输出：这是一个段落。 # 使用find方法找到第一个a标签，并提取其内容 a_tag = soup.find('a') a_content = a_tag.text print(a_content) # 输出：这是一个链接 ``` 在上述代码中，我们首先将HTML文档传递给BeautifulSoup的构造函数，然后使用`find`方法找到指定的标签（如`h1`、`p`、`a`），并使用`.text`属性提取标签中的内容。 请注意，这只是bs4的基本用法之一。你可以根据实际需求使用bs4提取更复杂的标签内容或利用其强大的功能进行数据提取和处理。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值