Selenium使用PhantomJS来爬取动态网页时遇到的问题

已于 2022-03-02 22:22:11 修改
阅读量269 收藏
点赞数
文章标签： selenium python 爬虫
于 2022-02-20 16:57:34 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq1261275789/article/details/123032728
版权
本文探讨了在使用Selenium和PhantomJS进行动态网页爬取时，如果URL包含中文字符，可能会导致JavaScript无法正确加载，从而无法获取动态生成的内容。解决方案是将中文URL转为编码形式，确保页面能够正常动态加载并解析出所需class和id。了解这一问题对于提升网页爬取的效率和准确性至关重要。
摘要由CSDN通过智能技术生成

Selenium使用PhantomJS来动态爬取网页时遇到的问题

结论直接写在开头，请求的url中不要带中文！！！请求的url中不要带中文！！！请求的url中不要带中文！！！
先上有问题的图，由于请求中带了中文，于是page_source中的html代码是未加载JavaScript之前的代码，自然就找不到自己想要的class和id了。（为什么url带中文就不能动态加载页面的原理暂时还不太清楚）。
在这里插入图片描述
接着看一下将中文转url编码后的请求结果。
在这里插入图片描述
当url中不带中文之后，就能动态加载js了，也能解析出js加载完后所带的class。

请叫我江同学呀
关注
Python使用selenium爬取动态网页时遇到的问题
qq_41521792的博客
10-21 1628
我们在做京东手机信息的爬取时，遇到的一些问题，现在就来跟大家分享一下。 1.首先，京东的网页是动态的，当我们搜索一个商品时，需要把页面往下翻，下面的内容才会出来，这也是我们选selenium方法的原因 解决方法：让浏览器模拟下拉几次页面即可 from selenium import webdriver import time import random url = 'https://www.jd....
使用selenium的webdriver动态爬取网页时遇到的问题
NeilPy的博客
12-11 7676
一、浏览器驱动文件（如phantomjs.exe/chromedriver.exe）的自动读取        1、PhantomJS与chrome的区别：           chrome不用说，就是chrome浏览器嘛，使用chromedriver.exe文件就是用来启动chrome浏览器的，当在程序中运行chromedriver.exe时会自动启动chrome浏览     器（前提是电脑中
函数解决页面懒加载问题（即selenium拖动滚动条到懒加载网页的最底部）
weixin_40718824的博客
11-18 2974
all_window_height =  []  # 创建一个列表，用于记录每一次拖动滚动条后页面的最大高度 all_window_height.append(driver.execute_script("return document.body.scrollHeight;")) #当前页面的最大高度加入列表 while True:     driver.execute_script("scro...
python中phantomjs获取不到页面信息的问题。
（为大佬）递茶员
10-21 680
'<html><head></head><body></body></html> 我在爬取的时候，出现这样的情况。 原因是页面中包含iframe，iframe便签中带有src连接，只要进了这个链接，就能爬取到信息。 获取iframe标签的属性方式: iframesrc = browser.find_element_b...
Python爬取动态网页selenium库调用浏览器报错,找不到指定文件，Message: ‘chromedriver‘
qq_44423029的博客
02-08 420
Python中selenium库调用浏览器报错：selenium.common.exceptions.WebDriverException: Message: ‘chromedriver’ 打开浏览器,在地址栏输入chrome://version/便可以查看到谷歌当前的版本号 2.接着我们来到谷歌浏览器驱动的下载网http://chromedriver.storage.googleapis.com/index.html找到与自己浏览器版本最接近的点开 根据自己操作系统下载 下载完我们解压得
爬取动态网页：Selenium与PhantomJS入门
# 爬虫简介 ## 1.1 什么是爬虫及其应用领域 爬虫（Spider）是一种自动化程序，用于从互联网上提取信息。它模拟人类访问网页的...传统爬虫无法直接获取动态数据，因此需要一种新的方式来爬取动态网页内容。 ## 1.3 S
爬虫：动态页面爬取Selenium
热门推荐
二十四桥明月夜
01-05 1万+
Ajax其实也是JavaScript动态渲染的页面的一种情形，不过JavaScript 动态渲染的页面不止Ajax 这一种： 比如中国青年网（详见 http://news.youth.cn/gn/ ), 它的分页部分是由 JavaScript 生成的，并非原始 HTML代码，这其中并不包含 Ajax 请求。 比如 ECharts 的官方实例（详见 http: //echarts.baidu.com/demo.html#bar-negative ），其图形都是经过 JavaScript 计算之后生成的。 再有
使用Selenium、PhantomJS爬取动态渲染页面
最新发布
2301_76387166的博客
02-25 953
本文介绍了如何使用Selenium和PhantomJS来爬取动态渲染页面的方法，这种方法可以模拟人类的浏览器操作，获取完整的页面源代码。当然，这种方法会比传统的静态页面爬取方法耗费更多的系统资源，因此在使用时应慎重考虑。
动态网页爬取及解析：Selenium与PhantomJS简介
# 一、引言 ## 1.1 网页爬取与解析的基本概念 在网络信息爆炸的时代，...在网页爬取与解析的过程中，常常会遇到动态网页的情况，即网页内容是由JavaScript动态生成的，传统的静态网页爬取技术往往难以轻松应对。Sele
详解Selenium+PhantomJS+python简单实现爬虫的功能
12-26
Selenium 一、简介 selenium是一个用于Web应用自动化程序测试的工具，测试直接运行在浏览器中，就像真正的用户在操作一样 selenium2支持通过驱动真实浏览器（FirfoxDriver，IternetExplorerDriver，OperaDriver，ChromeDriver） selenium2支持通过驱动无界面浏览器（HtmlUnit，PhantomJs） 二、安装 Windows 第一种方法是：下载源码安装，下载地址（https://pypi.python.org/pypi/selenium）解压并把整个目录放到C:\Python27\Lib\site-p
php-phantomjs：通过PHP执行PhantomJS命令
02-20
PHP PhantomJS PHP PhantomJS是一个灵活PHP库，可通过PhantomJS无头浏览器加载页面并返回页面响应。 它非常适合测试需要javascript支持并且还支持屏幕捕获的网站。 功能列表 通过PhantomJS无头浏览器加载网页 查看详细的响应数据，包括页面内容，标题，状态代码等。 处理重定向 查看JavaScript控制台错误 查看详细的PhantomJS调试信息 将屏幕截图保存到本地磁盘 将网页输出到PDF文档 设定视口大小 为PDF输出设置固定的页眉和页脚 定义屏幕捕获x，y，宽度和高度参数 将页面渲染延迟指定的时间 延迟页面渲染，直到页面资源完全加载 使用命令行选项执行PhantomJS 轻松构建和运行自定义PhantomJS脚本
PhantomJs+selenium webdriver+验证码识别
11-20
使用多线程，实现PhantomJs+selenium webdriver+验证码识别模拟登录直播平台，实现自动上号功能。【注：此实例仅供学习之用，若做非法用途，一概与本人无关】
phantomjs 抓取页面失败
starzxf的专栏
08-15 1753
蛛蛛爬虫无法抓取 angularjs 渲染的页面，解决这个问题通常要用到第三方技术，phantomjs 是个不错的选择，今天测试抓取 www.baidu.com 没有问题(phantomjs getpage.js "http://www.baidu.com")，但抓取自己的网站却有问题 (phantomjs getpage.js "http://www.port56.com")，经过分析，发现是因...
selenuim-phantomjs-java无法获取动态加载的元素
r_eynolds的博客
07-27 1195
iframe是js动态加载的，获取的页面没有iframe元素… 问题现象 无法获取页面元素&amp;lt;最直观现象&amp;gt; iframe是js动态加载的，获取的页面没有iframe元素 富文本编辑框拿不到 driver.findElement(By.id(“iframe_id”)) 抛出异常，无法找到元素 driver.switchTo().frame(driver....
使用phantomjs抓取JS动态生成的页面
Inner Peace
08-29 6661
关于phantomjsphantomjs实现了一个无界面的webkit浏览器。虽然没有界面，但dom渲染、js运行、网络访问等API都很完整。可以利用phantomjs来下载js生成的页面。下载phantomjs（http://phantomjs.org/download.html)。解压到任意目录，在Windows下将包含phantomjs.exe的目录添加到系统路径。Linux下 phantom
Python《使用selenium解决动态加载的问题》
qq_29367075的博客
12-21 1007
爬取的网址呢，还是上一篇博文涉足的 https://www.dmzj.com/ 但是这一次，我们使用selenium来获得每个章节的所有图片，因为动态网页比如常见的js动态生成，用静态方法访问网站并且获取html时，js动态生成的这一部分还没有生成，所以静态方法获取不了这一部分信息。 selenium的webdriver,我个人理解webdriver是模拟用户用浏览器访问网络，只不过不是用户亲自用鼠标是双击，而是用的代码。在这里本人使用的是Firefox浏览器。 这部分代码如下： # 无头浏览器 这样浏览器
电脑python 未响应_python Selenium+PhantomJS 有关网页未响应问题
weixin_39692847的博客
12-03 241
@做到平淡: 可能我的phantomjs配置有问题，导致使用了selenium + chrom浏览器解决。代码如下# -*- coding:utf-8 -*-from selenium import webdriverfrom selenium.webdriver.common.keys import Keysimport unittestimport timefrom lxml import e...
python selenium 爬取js加载的内容为空,Python爬虫使用Selenium+PhantomJS抓取Ajax和动态HTML内容...
weixin_35781147的博客
03-25 464
1，引言在Python网络爬虫内容提取器一文我们详细讲解了核心部件：可插拔的内容提取器类gsExtractor。本文记录了确定gsExtractor的技术路线过程中所做的编程实验。这是第二部分，第一部分实验了用xslt方式一次性提取静态网页内容并转换成xml格式。留下了一个问题：javascript管理的动态内容怎样提取？那么本文就回答这个问题。2，提取动态内容的技术部件在上一篇python使用x...
使用selenium与phantomjs抓取网页API与参数的策略
本文将探讨如何使用Selenium结合PhantomJS来执行JavaScript代码并获取执行结果，这对于自动化测试、网页抓取，尤其是处理动态内容和参数提取至关重要。Selenium是一个强大的自动化测试工具，它允许模拟用户与网页的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值