xpath爬取airbnb民宿价格信息，为啥用属性定位不到元素，但是用文本内容模糊匹配却可以

最新推荐文章于 2023-07-13 18:39:48 发布
最新推荐文章于 2023-07-13 18:39:48 发布
阅读量386 收藏 1
点赞数
文章标签： python xpath
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/YiliaVV5/article/details/104734967
版权

超级小白，刚刚接触python。今天想要试着爬一下爱彼迎上的民宿信息，包括房屋情况、位置、价格三个信息：在这里插入图片描述
我一开始的代码是这样的：
在这里插入图片描述
前两个信息都可以用find_elements_by_xpath很容易地定位出来，但是价格返回的是空的列表。用chrome开发者工具查看，确实是可以找到这个位置的。
在这里插入图片描述

真是头秃。后来在网上搜了半天，看到xpath还有模糊匹配的方法，我就定位包含“￥”的信息，终于可以定位成功。
在这里插入图片描述

有没有大佬可以解释一下为什么会出现这种情况？？

YiliaVV5
关注
XPath 文本内容的模糊匹配：灵活筛选和定位元素的高级技巧
小蓝枣的博客
07-13 1335
XPath 是一种强大的查询语言，用于在 XML 和 HTML 文档中定位和提取元素。文本内容的模糊匹配是 XPath 的一项高级技巧，它允许我们使用通配符、正则表达式和特定函数来实现模糊匹配的筛选和定位。本篇博客将深入探讨 XPath 文本内容的模糊匹配技巧，通过详细的解释和实例演示，展示它在元素筛选和定位方面的优势和灵活性。
XPath 属性值的模糊匹配
小蓝枣的博客
07-13 965
XPath 是一种强大的查询语言，用于在 XML 和 HTML 文档中定位和提取元素。属性值的模糊匹配是 XPath 的一项高级技巧，它允许我们使用通配符和特定函数来实现模糊匹配的筛选和定位。本篇博客将深入探讨 XPath 属性值的模糊匹配技巧，通过详细的解释和实例演示，展示它在元素筛选和定位方面的优势和灵活性。
python之selenium爬取数据（爬取airbnb房源信息）
阳某的博客
11-06 3687
目录selenium介绍案例 selenium介绍 Selenium是一个用于Web应用程序测试的工具，测试直接在浏览器中运行，就像真实用户所做的一样，目前流行的自动化测试就可以靠它来实现 而自动化测试还需要用我们的webdriver WebDriver针对各个浏览器而开发，取代了嵌入到被测Web应用中的JavaScript。与浏览器的紧密集成支持创建更高级的测试，避免了JavaScript安全...
python 爬取自如租房的租房数据，使用图像识别获取价格信息
tanjunchen的博客
09-19 806
python 爬取自如租房的租房数据 完整代码下载：https://github.com/tanjunchen/SpiderProject/tree/master/ziru #!/usr/bin/python # -*- coding: UTF-8 -*- import re import requests import pytesseract from PIL import Image from selenium import webdriver from fake_useragent impor
python爬房源信息_Python：爬取airbnb房源信息（Selenium）
weixin_36358109的博客
02-10 625
Selenium介绍Selenium是一个用于Web应用程序测试的工具，测试直接在浏览器中运行，就像真实用户所做的一样，目前流行的自动化测试就可以靠它来实现。而自动化测试还需要用我们的webdriverWebDriver针对各个浏览器而开发，取代了嵌入到被测Web应用中的JavaScript。与浏览器的紧密集成支持创建更高级的测试，避免了JavaScript安全模型导致的限制。除了来自浏览器厂商的...
selenium练习--爱彼迎房东主页评论爬取
weiwen6933的博客
02-19 889
Airbnb 房东主页评论爬取 示例网页 经常会出现一个报错： Selenium弹出新页面无法定位元素问题（Unable to locate element） 可以用如下方法： wait = ui.WebDriverWait(browser,10) wait.until(lambda browser: browser.find_element_by_方法('')) WebDriverWait(b...
爱彼迎房源爬取价格和名称
mjfppxx的博客
04-22 1096
爱彼迎是用javascripe渲染的,不能使用静态网页获取法,因此调用selenium库 from selenium import webdriver from bs4 import BeautifulSoup import bs4 import time from selenium.webdriver.firefox.options import Options def getHTMLTex...
python如何用xpath爬取指定内容_python网络爬虫之解析网页的XPath(爬取Path职位信息)[三]...
weixin_39616416的博客
12-17 345
@前言本章同样是解析网页，不过使用的解析技术为XPath。相对于之前的BeautifulSoup,我感觉还行，也是一个比较常用的一种解析方式，并且更加的符合我们之前的一个逻辑思维，不过看情况吧，看各位准备怎么用吧。XPath的使用方法同样的先下载lxml插件,并且导入里面的etree"""XPath的学习"""from lxml import etree# 案例文件html_doc = """ba...
XPath 文本内容定位
最新发布
小蓝枣的博客
07-13 1263
XPath 是一种强大的查询语言，用于在 XML 和 HTML 文档中定位和提取元素。文本内容定位是 XPath 的一项重要技巧，它允许我们根据元素的文本内容来准确筛选和定位目标元素。本篇博客将深入探讨 XPath 文本内容定位的方法和技巧，通过详细的解释和实例演示，展示它在元素筛选和定位方面的优势和灵活性。
为什么有些xpath绝对路径拿不到数据_定位页面元素之xpath详解以及定位不到测试元素的常见问题...
weixin_39583029的博客
12-20 1224
一、定位元素的方法id：首选的识别属性，W3C标准推荐为页面每一个元素设置一个独一无二的ID属性，如果没有且很难找到唯一属性，解决方法：(1)找开发把id或者name加上。如果不行，解决思路可以是：1. 找到该按钮的特征，例如按钮的文字是 submit；2. 用XPath定位，可以这样写：//button[@value='submit']。(注意是单引号！！)name：和id一致ClassName...
爬虫--爱彼迎北京房价名称、类型、价格
weixin_43434729的博客
08-12 322
爬虫–爱彼迎北京房价名称、类型、价格（一页） 【声明】本文档只做学习交流，使用selenium的小栗子 准备工作： 安装谷歌浏览器 npm install selenium 下载chromedriver.exe，供程序驱动本机的谷歌浏览器 代码： from selenium import webdriver driver = webdriver.Chrome(executable_path=r'F:\img\chromedriver_win32\chromedriver.exe') driver.imp
airbnb爱彼迎python爬虫与简单分析
HolmXin的博客
07-10 5003
目的 作为一个挂了几套公寓在airbnb上的小房东，又作为一个喜欢分析数据的小孩子，当学习爬虫的过程中当然要选择爱彼迎这个网站来试手；在网上看到一个大神po的一长串的代码，用了之后的确可以马上爬取，但爬到的内容不是我想要的，而且我总感觉复杂了很多，于是我开始用我现有的知识来进行爬取； 方法 库：requests lxml 1.分析网页url构建17页的url代码 很容易发现规律url=‘http...
xpath爬取首页信息,并获取详情页标题与时间
han_yanlong的博客
08-08 5026
# -*- coding: utf-8 -*- # url为 伯乐在线文章首页 import sys import requests from lxml import etree import random import codecs reload(sys) sys.setdefaultencoding("utf-8") def download_page(url): user_age
xpath helper 可以获取到但是打印不出来_爬虫系列第七篇 使用XPath爬取小说《伏天氏》...
weixin_39628339的博客
11-29 250
你看网络小说么？使用爬虫将你喜欢的小说从网页上爬取下来吧！首先输入关键词“伏天氏”，然后Google一下吧，我们会得到下图所示的搜索结果我们直接点击第二个来源——笔趣阁进行爬取吧，即我们将要爬取的网页的url为：https://www.biquge.com.cn/book/31326/，进入页面后，我们可以看到《伏天氏》的全部目录，如下图所示我们尝试点击其中的几个章节，会发现加载出每一个章节的正文...
selenium根据文本内容定位元素
qq_22592457的博客
03-09 1万+
关于selenium的定位方法很多人说了，但是根据文本内容进行定位的找了很久都没有找到相关的文章，因此把自己走过的弯路记录分享一下。 如下图，如果我们要定位“下一页”这个元素，无法通过id、class等等这些来弄，咋一看好像可以用find_element_by_xpath。 复制一下xpath来看一下：“//[@id=“pe100_page_存量房房源_oracle_single_pager”]/...
使用 xpath 定位包含指定文本内容的标签
热门推荐
HeatDeath的博客
05-16 3万+
browser.find_element_by_xpath('//button/span[contains(text(), "指定文本内容")]').click()指定文本内容 可以是 匹配全部文本 也可是 匹配部分文本
网络爬虫实战（三）：爬取豆瓣、猫眼流浪地球数万条评论信息
老肥码码码
02-17 5083
春节如约而至，随着消费水平的提高，越来越多的人们走进电影院，观看春节档电影。去看啥电影，先看看网友们的评分评论也是非常有必要的，于是前几天遍想到用爬虫去爬取一些有用的信息。 爬取豆瓣电影评论 可以看得出，流浪地球的评分遥遥领先，那我们便去一探究竟，来到豆瓣网搜索影评 https://movie.douban.com/subject/26266893/comments?start=2...
python +selenium ,元素定位之xpath ，根据元素的文本属性来定位
我想像风一样自由的人生之旅
04-19 1万+
例如 源码里面含有这样的：<a class="btn_green big w90" onclick="add_topic(this);" href="javascript:;">+ 新增一题</a>这个是一个按钮，需要识别，并点击add_topic = driver.find_element_by_xpath("//a[text()='+ 新增一题']") add_topi
python爬虫中如何获取页面元素的定位
Nancy
09-11 6721
1.以谷歌浏览器为例：F12后刷新，点击如图所示的按钮： 2 .选中某个元素，右键，copy: 有：copy selector        copy XPath
用xpath爬取内容为啥打印不出爬取的图片链接
05-09
可能是因为你没有正确提取图片链接或者没有将提取到的链接打印出来。在使用XPath提取图片链接时，你需要确保XPath表达式正确，可以使用浏览器的开发者工具（如Chrome的开发者工具）来检查是否正确提取到了图片链接。 另外，如果你已经正确提取了图片链接，但是打印出来的内容仍然没有图片链接，那么可能是你没有正确使用打印函数。在Python中，你可以使用`print()`函数来打印内容，如果你想打印图片链接，可以将链接作为参数传递给`print()`函数，如下所示： ```python print(img_url) ``` 其中，`img_url`是你提取到的图片链接变量名。这样就可以将图片链接打印出来了。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值