Selenium&&PhantomJS获取网站中的JS返回的数据

最新推荐文章于 2024-06-19 12:54:04 发布
最新推荐文章于 2024-06-19 12:54:04 发布
阅读量4.2k 收藏
点赞数 1
分类专栏： python爬虫 文章标签： selenium python爬虫 python PhantomJS
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zuochao_2013/article/details/77922318
版权
本文介绍了如何通过Selenium模块与PhantomJS浏览器进行结合，以模拟用户行为获取网页中由JavaScript生成的数据。在Windows 7环境下，使用Python 2.7和PyCharm作为开发工具，展示了抓取百度搜索结果和IP代理的实例。
摘要由CSDN通过智能技术生成

一、安装Selenium模块

pip install selenium
       Selenium 是一套完整的Web应用程序测试系统，包含了测试的录制、编写及运行和测试的并行处理。


二、安装PhantomJS(官网下载：http://phantomjs.org/）

        下载后放在python安装目录，和python.exe在一个文件夹下。Selenium和Phantomjs配合可以模拟获取包括JavaScript的数据。


三、运行环境

     (1) win7 

    (2) python 2.7

    (3) pycharm


最低0.47元/天 解锁文章
三名狂客
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
python selenium 爬取js加载的内容为空_Selenium + BeautifulSoup爬虫入门，对于JS加载的网页数据无法读取的解决办法...
weixin_39644952的博客
12-10 1636
问题来源爬虫写完并不是一劳永逸的，因为原站的代码迭代，我们上次文章写的代码就变成了a pile of shit????。生活不如意，十有八九，这并不是阻碍我们学习的绊脚石。我们出发点是学习，为了使这次对的代码具有一定的Robust(健壮性)，同样为了学习新的技术。这次采用Selenium的方式来编写爬虫的代码，或许情况会有所好转/(ㄒoㄒ)/~~。什么时候用Requests?通常我们在对网页进行抓包的时...
python+selenium 返回js执行结果
Genevar的博客
04-09 3134
如何（python+selenium ）返回js执行结果 通过常规方法： js = “document.getElementById(‘input-286’).value;” a = driver.execute_script(js) print(a) 实验后我们会发现。其实JS得到了执行，比如给value 赋值。确实页面上会变化。说明定位以及执行是正常的。 而且我们也知道。执行是会有返回指的。但是用 print(type(driver.execute_script(js)))打印结果类型。会提示 无类型。
Selenium实战案例之爬取js加密数据
weixin_45688123的博客
07-26 2320
Selenium是一个用于Web应用程序测试的工具。Selenium测试直接运行在浏览器中，就像真正的用户在操作一样。支持的浏览器包括IE（7,8,9,10,11），MozillaFirefox，Safari，GoogleChrome，Opera，Edge等。这个工具的主要功能包括测试与浏览器的兼容性——测试应用程序看是否能够很好得工作在不同浏览器和操作系统之上。测试系统功能——创建回归测试检验软件功能和用户需求。支持自动录制动作和自动生成.Net、Java、Perl等不同语言的测试脚本。...
Selenium 获取请求响应
最新发布
yudiandian2014的专栏
06-19 594
Selenium 获取请求响应
Python 爬虫 PhantomJs 获取JS动态数据
liujiandu101的博客
07-14 1万+
Python 爬虫 PhantomJs 获取JS动态数据 字数2034 阅读2900 评论16 喜欢8 上篇文章我非常high的爬取了一个正常网页的数据 对是正常 不正常的来了 这次研究的就是那些“不正常”的网页 当时是我太天真 后面发现水又深 介于现在JS H5的大趋势 大部分网站都是混入了JS数据加载 数据是延迟加载的 这样如果我们用原始的ur
js获取python返回值_Python3.x：Selenium+PhantomJS爬取带Ajax、Js的网页及获取JS返回值...
weixin_29651519的博客
01-15 342
前言现在很多网站的都大量使用JavaScript，或者使用了Ajax技术。这样在网页加载完成后，url虽然不改变但是网页的DOM元素内容却可以动态的变化。如果处理这种网页是还用requests库或者python自带的urllib库那么得到的网页内容和网页在浏览器中显示的内容是不一致的。解决方案使用Selenium+PhantomJS。这两个组合在一起，可以运行非常强大的爬虫，可以处理cookie，...
AngleSharp+PhantomJS获取动态网页(c#).rar
06-05
在这个项目中，Selenium PhantomJS组合可能是为了加载和执行京东搜索页面上的JavaScript代码，确保所有动态内容都被正确加载，以便AngleSharp能捕获到完整的信息。 再者，针对**京东搜索页**，我们需要理解其网页...
在scrapy中使用phantomJS实现异步爬取的方法
09-19
该方法首先尝试从队列中获取已存在的 PhantomJS 实例，如果没有则新建一个。接着，使用 Selenium 的 WebDriver 对象加载页面。 - **_response 方法**: 处理 WebDriver 返回的结果，生成 Scrapy 的 Response 对象并...
使用Scrapy爬取动态数据
09-20
这里需要注意的是，由于使用了PhantomJS，你可以直接使用Selenium提供的API（如`find_element_by_class_name`）来获取元素，但示例代码中选择了继续使用Scrapy的XPath表达式。 **注意事项** 1. PhantomJS可能需要...
linux 开源爬虫开发包phantomjs
07-30
例如，`phantomjs --version` 可以查看已安装的版本，而编写一个简单的JavaScript脚本并用`phantomjs script.js` 执行，就能实现自动化任务。 总结起来，PhantomJS是Linux环境下的一款强大工具，对于需要无头浏览器...
爬虫爬到的内容_JS生成的数据基于JQuery
07-25
在互联网世界中，数据无处不在，而网页中的动态数据往往是通过JavaScript生成的，特别是基于JQuery库的数据处理。本文将深入探讨如何处理和解析这些由JS生成的、对爬虫来说具有挑战性的数据。 首先，我们需要理解...
python之selenium调用js(execute_script)
songlh1234的博客
09-17 4107
在编写自动化程序的时候，会遇到弹出新窗口的情况，而程序总是默认在第一个窗口页定位元素，这样，就会定位不到元素，程序报错。 举一个实例说明，如下的网站在第一窗口页面点击“登陆”，会弹出一个新的窗口页输入用户名/密码，如果程序不做出来，在定位用户名的时候，程序会在第一个窗口页中查询，所以会报错 要解决这个问题有两种方法： 首先，弄明白为什么点击“登录”按钮会弹出一个新的窗口，下面我们来检查一下“...
python中怎么获取js的输出值_Selenium执行Javascript脚本参数及返回值过程详解
weixin_39601743的博客
11-26 1907
在Selenium中可以使用drvier.execute_script()来执行Javascript脚本，支持多行语句。使用Javascript可以实现以下功能：移除元素隐藏、禁用、只读等限制属性为元素添加id或高亮样式页面滚动富文本框输入（HTML注入)获取页面信息使用Javascript参数在使用Javascript语句时，还可以动态传入参数或元素对象，Javascript语句中使用占位符“a...
C#使用Selenium+PhantomJS抓取数据
weixin_30457465的博客
02-21 295
手头项目需要抓取一个用js渲染出来的网站中的数据。使用常用的httpclient抓回来的页面是没有数据。上网百度了一下，大家推荐的方案是使用PhantomJS。PhantomJS是一个没有界面的webkit浏览器，能够和浏览器效果一致的使用js渲染页面。Selenium是一个web测试框架。使用Selenium来操作PhantomJS绝配。但是网上的例子多是Python的。无奈，下载了python...
使用phantomjs抓取JS动态生成的页面
Inner Peace
08-29 6626
关于phantomjsphantomjs实现了一个无界面的webkit浏览器。虽然没有界面，但dom渲染、js运行、网络访问等API都很完整。可以利用phantomjs来下载js生成的页面。下载phantomjs（http://phantomjs.org/download.html)。解压到任意目录，在Windows下将包含phantomjs.exe的目录添加到系统路径。Linux下 phantom
php获取js执行的页面
热门推荐
纸上得来终觉浅
10-09 10万+
安装phantomjs yum install phantomjs安装相关包 composer require “jonnyw/php-phantomjs:4.*”Demo:<?php require 'vendor/autoload.php'; use JonnyW\PhantomJs\Client;$client = Client::getInstance();$client->getEng
php获取js动态生成的内容
wmnmtm的专栏
12-24 888
&lt;?php          $command = "phantomjs test.js 'http://localhost/api/content.html' ";          @exec($command,$a);    var_dump($a);//$a是返回的html        exit();  ?&gt;  phantomjs.exe放在同目录下，至于能否放在其它目录...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值