ChromeDriver中的PageSource返回 的问题

最新推荐文章于 2023-09-28 10:40:47 发布
最新推荐文章于 2023-09-28 10:40:47 发布
阅读量5.9k 收藏 3
点赞数
文章标签： ChromeDriver PageSource   Selenium
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/robinspada/article/details/80393359
版权
在使用ChromeDriver进行爬虫时，遇到PageSource返回时不包含HTML中的空格占位符 ，而是替换为不可见字符，导致解析后的页面出现错误。通过查阅资料，了解到可能是ChromeDriver自身的问题。为解决此问题，尝试使用JavaScript来获取页面源码，以此避免PageSource的不准确。参考了GitHub上的相关讨论和解决方案。
摘要由CSDN通过智能技术生成

由于PhantomJS停止开发，爬虫改用ChromeDriver，遇到如题问题，与大家分享。

我觉得应该是ChromeDriver的问题，没有找到官方的方法，其他的driver或许也有类似问题，没有测试

如果请求页面里面包含空格占位符

最低0.47元/天 解锁文章
robinspada
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
selenium关于正则表达式匹配webdriver.Chrome().page_source中文的问题
xiemanR的专栏
02-23 8690
本文以网站https://mm.taobao.com/self/model_album.htm?user_id=687471686 点击打开链接为例子，介绍如何匹配总页数，如下图所示。 webdriver.Chrome().page_source的类型为Unicode，所以匹配字符串也要是unicode，测试代码如下： from selenium impor
selenium+chrome driver返回结果为driver.page_source为＜html＞＜head＞＜/head＞＜body＞＜/body＞＜/html＞的问题
qq_17126839的博客
07-03 319
最后发现是代理的问题，应该是本地调试时proxy为空导致的错误，proxy为空时应该直接不对proxy进行设置。尝试使用了不同的url，都是一样的结果，显然不是URL的问题。有说是selenium版本问题的，没有试。
4、Chrome之Source面板
LetsStudy的博客
09-15 2164
一、界面 1、Page a.展示上下文环境中的所有资源 2、Filesystem a.可以导入本地源码，在soure面板下对源码进行编辑，ctrl + s保存会将修改的代码保存到本地，相当于编辑器。 b.local Modifications:右键点击，会展示修改过后的代码， c.ctrl + s ：会将代码保存到本地，我们也可以在开发工具中开到修改过后的代码 3、Overrides a.可以重新一个脚本，并且刷新不会被清除 b.操作步骤 ①切换到Overrides页签 ②
[chrome devtools]Sources面板
最新发布
无bug无江湖
09-28 2003
日志断点，就是在不暂停执行并且不使用console.log的情况下，在某个位置打印一个自定义的log，这种断点一般是。下面就介绍在devtools的Sources面板中如何使用这几种断点。条件断点，就是只有满足设定的条件后，才会在断电上停住。
selenium 爬页面源码（page_source ）
MTbaby的博客
08-25 2万+
前言 有时候通过元素的属性的查找页面上的某个元素，可能不太好找，这时候可以从源码中爬出想要的信息。selenium 的 page_source 方法可以获取到页面源码。1.selenium 的 page_source 方法可以直接返回页面源码 2.重新赋值后打印出来这里可以使用正则匹配到你想要的数据，比如我这里想要所有的链接，
page source 保存html,如何让phantomJS webdriver等到加载特定的HTML元素然后返回page.source？...
weixin_29173299的博客
06-10 367
我已经为Web爬网对象开发了以下代码。它需要两个日期作为输入。然后创建这两个日期之间的日期列表，并将每个日期附加到包含位置的天气信息的网页URL。然后它将HTML数据表转换为Dataframe，之后将数据存储为存储中的csv文件(基本链接为：https://www.wunderground.com/history/daily/ir/mashhad/OIMM/date/2019-1-3，在本例中您可...
page_sourse爬取渲染后的页面代码
米兔-miny的博客
11-15 931
爬页面源码（page_source） 一般来说，selenium的page_source方法可以直接返回页面源代码 爬取网页ICP号： from selenium import webdriver import re html_list=[ "http://anzhuo.paojiao.cn/", "http://sj.zol.com.cn/android_app/", "https://appgallery.huawei.com/#/Apps", ] for url in
Java - 从本地文件中读取id 和 url 将 pagesource 保存为txt
PeersLee的博客
08-11 1179
import java.io.BufferedReader; import java.io.File; import java.io.FileInputStream; import java.io.FileOutputStream; import java.io.InputStreamReader; import java.util.ArrayList; import java.util.Hash
自动化测试——异常截图和page_source
python全栈
03-13 1042
allure.attach.file(截图路径,name=‘image’,attachment_type=allure.attachment_type.PNG)allure.attach.file(源码路径,name=‘text’,attachment_type=allure.attachment_type.TEXT)2、解决方法2：保证使用装饰器的时候，driver已经声明：driver = args[0].driver。前提条件：被装饰的方法是一个实例方法，实例需要有实例变量self.driver。
使用webdriver爬取网页
WonderKing'blog
10-31 2365
话不多说，先上代码和效果图。 # Author：wangdq # Date ：2021/10/31 12:07 # Describe ： from selenium import webdriver chrome_options = webdriver.ChromeOptions() chrome_options.headless = True chrome = webdriver.Chrome(chrome_options=chrome_options) chrome.get("https://.
html 获取当前页面,从chrome扩展获取当前页面的源HTML
weixin_31961675的博客
06-03 289
一只萌萌小番薯将脚本注入要从中获取源的页面并将其发送回弹出窗口....的manifest.json{ "name": "Get pages source", "version": "1.0", "manifest_version": 2, "description": "Get pages source from a popup", "browser_action": { "def...
requests或selenium获取网页内容不全问题(非异步加载)
sunlight in sky的博客
01-14 1万+
requests或selenium获取静态页面加载不全问题
Python+Selenium-5-driver.page_source获取页面源码
热门推荐
karry_孙二的博客
12-22 3万+
driver.page_source selenium的page_source方法可以获取到页面源码 跟爬虫有点相似，获取到页面资源，提取出我们需要的信息 案例 以煎蛋网为例，获取首页的全部title（获取页面源码 -- 使用re正则提取需要的title） 代码 #coding:utf-8 from selenium import webdriver import re cla...
针对懒加载如何实现selenium 滑动至页面底部page_source一次性包含全部网页内容
supramolecular的博客
08-28 5324
有时网站使用了懒加载技术：只有在浏览器中纵向滚动条滚动到指定的位置时，页面的元素才会被动态加载。注意，在加载之前，selenium的page_source是不会包含该页面的内容,page_source只包含加载出来的页面内容。那么如何实现加载全部内容了,就需要模拟人滚动滚动条的行为,实现页面的加载 from selenium.webdriver.chrome.options import Op...
selenium 获取网页源码
IAlexanderI的专栏
05-11 3万+
selenium本是用来对web application做自动化测试的。不过，它有个天大的好处：能让我们用python(当然不仅是python)代码模拟人对浏览器的操作。 所需软件：python2.7 , firefox 25.0.1(版本不能太高), selenium2.44.0(使用pip install selenium安装即可) 1. 打开浏览器，请求百度主页，5秒钟后关闭浏览器 fro
使用slenium+chromedriver实现无敌爬虫
欧阳桫的技术博客
02-06 2万+
@概述 通常各大网站的后台都会有一定的反爬机制，既为了数据安全，也为了减小服务器压力 通常反爬的手段的方向，都是识别非浏览器客户端，而selenium所做的事情，恰恰是驱动真正的浏览器去执行请求和操作，只不过信号不是来源于鼠标，而是来源于selenium的API（selenium本是一个自动化的测试工具） 自然人用户能做的一切，selenium几乎都驱动浏览器取做，无论是否有界面，包括输入、点
Chrome 开发工具之Sources
weixin_34100227的博客
06-19 697
Sources面板主要用于查看web站点的资源列表及javascript代码的debug 熟悉面板 了解完面板之后，下面来试试这些功能都是如何使用的。 文件列表 展示当前页面内所引用资源的列表，和平常的文件tree一样。 内容区域 可在该区域查看打开的文件的脚本，也可以在区域内下断点，打断指定执行代码行。 断点方式： 1.在脚本中写入debugger 2.在Sources面板文件...
vue中删除chromedriver
09-11
在Vue中，您可以通过以下步骤删除chromedriver。 1. 首先，请确保您已经全局安装了chromedriver。您可以使用以下命令进行安装： npm install --global chromedriver 2. 如果您在安装过程中遇到ChromeDriver安装失败的问题，可以尝试以下解决方法： a. 打开您计算机上的用户目录，并找到.npmrc文件。 b. 在.npmrc文件中添加以下内容： chromedriver_cdnurl=https://npm.taobao.org/mirrors/chromedriver c. 保存并关闭.npmrc文件。 3. 如果您需要重新安装chromedriver，您可以尝试使用以下命令进行安装： npm install --global chromedriver --chromedriver_cdnurl=http://cdn.npm.taobao.org/dist/chromedriver 4. 如果您想单独安装chromedriver，您可以尝试使用以下命令进行安装： npm install chromedriver --chromedriver_cdnurl=http://cdn.npm.taobao.org/dist/chromedriver 请记住，在进行任何更改之前，建议您备份项目文件以防意外情况发生。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值