Python爬虫之Xpath的text()与string()用法

我们在爬取网站使用Xpath提取数据的时候,最常使用的就是Xpath的text()方法,该方法可以提取当前元素的信息,但是某些元素下包含很多嵌套元素,

我们想一并的提取出来,这时候就用到了string(.)方法,但是该方法使用的时候跟text()不太一样,下面就举实例来讲解一下具体的区别。
以这个段子为例,如果我们使用text()来拿取这个,会发现这一个段子竟然有11个text()信息,那么我们直接用text()来拿会怎么样呢?我们来看下结果
在这里插入图片描述

发现我们确实拿到了,可是我们却是拿到一个列表中的多个字符串,我们想合成一个还需要拼接,所以我们可以使用 string(.),来看看效果
在这里插入图片描述
发现现在就是我们想要的结果了,因此当我们需要拿取嵌套节点的内容时候,使用string(.)方法效果更好!

例一:

import requests
from lxml import etree
url='https://www.biedoul.com/wenzi/1/'
headers={
   
    'user-agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/77.0.3865.90 Safari/537.36'
}
response = requests.get(url,headers=headers)
htmlweb=etree.HTML
  • 3
    点赞
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Python爬虫中,我们可以使用XPath来提取网页中的图片链接并进行下载。XPath是一种在XML和HTML文档中查找和定位元素的语言。要在Python中使用XPath,我们需要使用相关的库,如lxml库或BeautifulSoup库。下面是一个示例代码,演示了如何使用XPath来下载图片: ```python import requests from lxml import html # 定义目标网页的URL url = 'http://example.com' # 发送请求获取网页内容 response = requests.get(url) content = response.text # 使用lxml库解析网页内容 tree = html.fromstring(content) # 使用XPath表达式提取图片链接 image_urls = tree.xpath('//img/@src') # 遍历图片链接列表,下载图片 for image_url in image_urls: # 发送请求获取图片内容 image_response = requests.get(image_url) # 将图片保存到本地 with open('image.jpg', 'wb') as f: f.write(image_response.content) ``` 在上面的代码中,我们首先发送请求获取网页的内容,然后使用lxml库将网页内容转换为可解析的树结构。接下来,我们使用XPath表达式`//img/@src`提取所有`<img>`标签的`src`属性值,即图片链接。最后,我们遍历图片链接列表,发送请求获取图片内容,并将图片保存到本地。 请注意,上面的代码只是一个示例,具体的使用情况可能因不同的网站而有所差异。你需要根据目标网站的实际情况,调整XPath表达式和代码逻辑。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *3* [Python爬虫实战之xpath解析](https://blog.csdn.net/weixin_58667126/article/details/126105955)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] - *2* [Python3爬虫学习-爬取图片批量下载 XPATH](https://blog.csdn.net/xunxue1523/article/details/104584361)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值