python爬虫xpath()用法——获取多个相同标签的文本，并删去空格

最新推荐文章于 2024-04-01 13:08:44 发布
最新推荐文章于 2024-04-01 13:08:44 发布
阅读量6.4k 收藏 19
点赞数 4
分类专栏： xpath python 文章标签： python xpath html
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44636558/article/details/106421606
版权

在这里插入图片描述我需要获取的是内容是：天河 黄村
即获取div下的两个a标签。

location=response.xpath('string(/html/body/div[5]/div/div[2]/div[3]/ul/li[4]/div[2]/div[@class="text fl"])')

这样的输出结果包含大量空格，用normalize-space()删去其中的空格。

location=response.xpath('normalize-space(string(/html/body/div[5]/div/div[2]/div[3]/ul/li[4]/div[2]/div[@class="text fl"]))')

最后结果：
在这里插入图片描述

潘森L
关注
  • 4
    点赞
  • 踩
  • 19
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
简单的一个python爬虫资源
03-19
Python爬虫资源是编程领域中一个非常实用的主题，尤其对于数据采集和分析的初学者而言。这个主题涵盖了许多方面，包括网络请求、HTML解析、数据提取、数据存储以及反爬虫策略等。以下是对这些关键知识点的详细阐述：...
python爬虫数据可视化分析大作业
12-19
Python爬虫数据可视化分析大作业是一项综合性的任务，它涵盖了多个关键知识点，旨在利用Python编程语言获取网络数据，处理并进行有效的视觉呈现。这个作业主要涉及以下内容： 1. **Python爬虫技术**：Python是数据...
清除字符串中的空格
海纳百川
05-15 700
'################################################################ '156. 函数作用: 清除字符串中的空格 '################################################################ Public Function ClearBlank(ByVal sData As S
xpath抓取去除数据空白符
qq_37144341的博客
04-28 3663
XPATH中使用string(）可以获取标签下的所有字符 string(//*[@id="discuss"]） 往往取得的字符中会充斥着大量空白符，使用normalize-space()即可去掉所有空白符 normalize-space(string(//*[@id="discuss"])) ...
09-XPath 语言-python爬虫
bigzql的博客
09-26 9224
XPath 语言 XPath（XML Path Language）是XML路径语言,它是一种用来定位XML文档中某部分位置的语言。 学习目的 将HTML转换成XML文档之后，用XPath查找HTML节点或元素 比如用“/”来作为上下层级间的分隔，第一个“/”表示文档的根节点（注意，不是指文档最外层的tag节点，而是指文档本身）。 比如对于一个HTML文件来说，最外层的节点应该是"/html"。 XPath开发工具 开源的XPath表达式编辑工具:XMLQuire(XML格式文件..
【爬虫基础】第15讲 python使用xpath 属性中带空格
最新发布
a272329874a的博客
04-01 417
我们想要获取class属性值为"ank-modules-works--main-item-title ellipsis-two-lines global-hover"的div元素下的p元素的文本内容。要解决这个问题，我们可以使用XPath中的contains()函数，结合使用string()函数。contains()函数用于检查一个字符串是否包含另一个字符串，而string()函数用于将节点的文本内容转换为字符串。XPath可以用于从XML或HTML文档中提取数据，或者在文档中导航。
爬取同类标签方法
JustFORfun233的博客
03-07 4451
网上很少有爬取的信息在多个同种标签下，如何爬取的方法，恩，我就尝试了几种，还成功爬取到了。废话不多说直接上例子例子：http://www.17k.com/list/2743300.html发现要爬取的链接在<dl class = "Volume">里面，而且有三个。方法一、from bs4 import BeautifulSoup from urllib.request import ...
python:xpath 提取一个属性中含有的多个属性值,以及提取指定网址（谷歌网页可以直接复制xpath）
渴望飞的鱼的博客
03-05 1万+
目录 通过class调用： 通过xpath： 使用谷歌直接复制xpath： 代码例子： xpath如何取包含多个class属性如果HTML结构是这样 通过打开页面，打开xpath，可以直接复制下来！！谷歌十分nice的体验。 通过class调用： resp.xpath("//*[@class='otherName']//text()").extract() 通过xpath： r...
2021年9个常用的python爬虫源码
09-11
Python爬虫是网络数据获取的重要工具，尤其在2021年，随着互联网信息的爆炸式增长，Python爬虫在数据分析、市场研究、新闻监测等领域扮演了关键角色。本资源包含的是“2021年9个常用的python爬虫源码”，这将帮助...
python爬虫-爬虫项目实战之Scrapy抓手机今日头条App数据并存入MongoDB.zip
03-07
在这个Python爬虫项目实战中，我们主要探讨了如何利用Scrapy框架抓取手机今日头条App的数据，并将这些数据存储到MongoDB数据库中。这个过程涵盖了多个关键知识点，包括Python编程、网络爬虫技术、Scrapy框架的使用...
基于python爬虫对豆瓣影评分析进行爬取的课程设计.zip
12-08
在本课程设计中，我们将深入探讨如何利用Python爬虫技术来获取并分析豆瓣电影网站上的影评数据。Python爬虫是获取大量网络数据的有效手段，尤其适用于数据分析和挖掘项目。以下是一些关键知识点： 1. **Python基础*...
Xpath中定位到多个相同的元素，该怎么去解决？
m0_50488374的博客
08-24 2648
Xpath中定位到多个相同的元素，该怎么去解决？ 如图所示，定位到了6个相同的元素，业务需要每个元素都要进行输入操作； 我的解决方法： 可以通过find_elements来找到定位列表，在得到的list列表后加上索引值来进行输入 driver.find_elements(By.XPATH,'//input[@class="el-input__inner"]')[0].send_keys("0824")
xpath相同标签怎么定位（一）
全村的希望的博客
09-01 5965
目录 一、问题提出 二、问题解决过程 三、总结 一、问题提出 1、我们做web自动化一般就是增删改，验证基本功能流程。比如：添加一个用户，添加完了对比数据库字段，一致则案例通过。 2、举例：我们系统后台是用vue.js框架做的，现在在添加区域管理员的时候遇到了一模一样的input标签。如下图所示。 二、问题解决过程 1、这几个input标签是一模一样的，1个 div里面有1个 div和1个 label，div里面又有2个div和input，其中的1个div才...
Python如何删除多余的空格与空行
weixin_42313854的博客
12-06 873
https://blog.csdn.net/lurrass/article/details/102524767 这种情况在蒙古文信息处理里经常遇见。 holvoo网爬虫中title部分是倒序的，可能是因为转动蒙古文字体的原因。 <span class="title"> list2 <br/> list1 </span> title_list = html.xpath('//*[@class="title"]/text()').extract() title_l.
xpath中存在空格的处理------normalize-space的实际应用
zhouxuan623的专栏
04-25 1万+
normalize,字面意思就是正规化 加入space 大概意思就是空格的处理了 官方解释是这样的: 通过去掉前导和尾随空白并使用单个空格替换一系列空白字符，使空白标准化。如果省略了该参数，上下文节点的字符串值将标准化并返回。 刚好在实际项目中碰到了这样的一个问题, 定位一个下来的时候,最开始的时候是这样写的: //span[@class=' ']/div/table/tr[5...
玩转xpath，以及解决出现得问题--------------爬虫
weixin_49265805的博客
11-12 453
首先，零基础得就收藏把，留着以后好看，现在你也看不懂。 第一个问题 提取出来，多了个空格，解决方法 1， 加 normalize-space 这种直接在列表状态下就可以去掉 html.xpath('normalize-space(//div//tr/td[@class="inquiry_intitleb"]/span/text())') 2， 转列表为字符串，用strip。 company_namel=html.xpath('/html/body/div[1]/div/div/table/tbody
Python爬虫小实例
qq_34082921的博客
03-31 284
Python爬虫小实例 爬取百度首页获取所有的a链接，从爬取到解析和存储，整体很简单的一个入门小测试，我用的集成开发环境是Pycharm。具体如下步骤： 第一步先下载安装所需要的库，requests和BeautifulSoup4 pip install requests pip install bs4 #依次安装执行 引入requests和BeautifulSoup4库 import requests from bs4 import BeautifulSoup 所有的库都导入到开发环境就可以
Python爬虫时获取标签内全部文本内容的四种方式
热门推荐
qq_35866413的博客
08-06 9万+
    前文提到了Python爬虫框架之一的——Scrapy框架安装和相关命令的简单使用,熟悉了起码的实用流程。今天我们进行一些细节上的总结。如题，在我们要获取目标文本所在的标签时，通常有几种方法，下面我们挨个举例说明各种用法的使用：     以百度贴吧小说吧中的一篇小说为例,我们开始进行爬虫举例,该小说链接为:https://tieba.baidu.com/p/5702862812?pn=1 ...
python爬取并列标题（相同的标签，不同内容）的方法
学无止境
05-06 1万+
如下图，我需要爬取选框中的英文标题内容，但是它和中文标题的标签是一样的，这时候我们该如何获取呢？ 我们也许会通过“div”->class_='hd'->a->span的标签层级来获取框选内容，但是这样也会得到中文的titile，而我们使用 “div”->class_='hd'->a.contents则会定位到a标签下所有的子标签内容（包括换行符‘\n’），再...
python爬虫xpath提取文本
03-27
Python爬虫xpath提取文本的方法如下： 1. 导入相关模块 ```python import requests from lxml import etree ``` 2. 发送请求获取页面源码 ```python url = 'http://www.example.com' response = requests.get(url) html = response.text ``` 3. 解析页面源码 ```python tree = etree.HTML(html) ``` 4. 使用xpath提取文本 ```python # 提取所有a标签的文本 a_text_list = tree.xpath('//a/text()') # 提取第一个a标签的文本 a_text = tree.xpath('//a[1]/text()')[0] # 提取class属性值为"example"的div标签的文本 div_text = tree.xpath('//div[@class="example"]/text()')[0] ``` 注意：xpath返回的是一个列表，如果只需要一个结果，可以使用索引 `[0]` 或者 `extract_first()` 方法来提取。如果需要提取的文本在标签内部，可以使用 `//tagname/text()` 的方式来提取。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值