Python爬取js渲染页面方法 ---- PhantomJS

最新推荐文章于 2022-03-21 22:42:24 发布
最新推荐文章于 2022-03-21 22:42:24 发布
阅读量2.9k 收藏 9
点赞数 1
分类专栏： 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42293487/article/details/85048456
版权

爬取某个网站页面的时候，我发现明明可以看见的src被我爬下来的时候显示为空，让我百思不得其解（大神无视）,后面得知是被js渲染的页面无法直接获取他的src,最终得到了以下解决方法：使用 PhantomJS 解决

1.直接百度下载  PhantomJS  解压使用，把bin目录配置到PATH环境

2.贴代码。会的一看就懂，不会的，我也没办法

这是个菜比测试
关注
  • 1
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
phantomjs-2.1.1-windows
02-14
总的来说，"phantomjs-2.1.1-windows"是Python爬虫开发者的一个强大工具，特别是当遇到需要处理JavaScript渲染的网页时。通过合理使用，可以提升爬虫项目的效率和成功率。同时，对于自动化测试团队，PhantomJS也能...
Selenium phantomjs与spynner等待网页加载完成方式总结
mighty13的专栏
10-07 2万+
利用无头浏览器对网页元素进行模拟操作时经常遇到的问题就是**元素不存在这样的错误。原因大概有这么几种。 1. 网页没有加载完成，因此定位不到元素 2. 网页元素显示样式设置为不可见，即display:none，常见的如一些悬停显示的菜单。 3. 元素在iframe 中，常见的情况比如腾讯网站的登录框。 一般来讲，在网页源代码中能够看到的且display属性设置为可见的元素，selenium等
爬虫遇到js动态渲染问题
热门推荐
钟健的博客
03-21 7万+
爬虫遇到js动态渲染问题 时间：2020年6月3日10:28:48 作者：钟健 概要：关于scrapy爬虫应对网页JavaScript动态渲染问题 关键字：scrapy crapy-splash 一、传统爬虫的问题 scrapy爬虫与传统爬虫一样，都是通过访问服务器端的网页，获取网页内容，最终都是通过对于网页内容的分析来获取数据，这样的弊端就在于他更适用于静态网页的爬取，而面对js渲染的动态网页就有点力不从心了，因为通过js渲染出来的动态网页的内容与网页文件内容是不一样的。 1.实际案例 腾讯招聘：ht
python 爬取 js渲染_python 爬取世纪佳缘,经过js渲染过的网页的爬取
weixin_39664456的博客
11-20 365
#!/usr/bin/python#-*- coding:utf-8 -*-#爬取世纪佳缘#这个网站是真的烦，刚开始的时候用scrapy框架写,但是因为刚接触框架,碰到js渲染的页面之后就没办法了,所以就采用一般的爬虫了#js渲染过的数据，可能在网页源码里面没有数据，需要js异步请求提取数据，然后展示，所以爬取这类的数据，只需要找到js发送请求的url就行了#js发送的请求可能是post(比如这个...
python渲染html页面_爬虫请求、解析、js渲染于一体---requests-html库
weixin_39818727的博客
11-23 274
常用方法介绍一、请求url获取基本响应对象与我们熟悉的requests请求不同的是，requests-html默认使用session保持的请求方式，且其返回内容是一个带有丰富方法的对象。基本请求网址方式：HTMLSession.get()import requests_htmlsession = requests_html.HTMLSession()r = session.get('https:...
【Python网络编程】selenium之等待页面异步加载完成
weixin_30855099的博客
03-09 627
# 需要导入的库import os import time from selenium import webdriver from selenium.webdriver.support.wait import WebDriverWait from selenium.webdriver.support import expected_conditions as EC from sele...
Python 爬虫可用 phantomjs-2.1.1-windows.rar phantomjs 的windows 支持程序
12-10
在"phantomjs-2.1.1-windows.rar"这个压缩包中，包含的是PhantomJS的Windows版本。安装和使用步骤如下： 1. 下载并解压压缩包，找到`phantomjs.exe`文件。 2. 配置环境变量：将`phantomjs.exe`所在目录添加到系统的...
Python-taobaospider淘宝热搜词商品信息爬虫
08-12
`phantomjs`通过Webkit渲染引擎模拟真实的浏览器行为，能够执行页面加载、JavaScript交互等操作，从而获取动态加载的内容。 在淘宝爬虫中，`phantomjs`可能被用来模拟用户浏览行为，例如点击、滚动，甚至处理登录和...
Python爬虫进阶 JS 解密逆向实战-JSCrack.zip
最新发布
01-30
6. **动态渲染处理**：对于依赖于浏览器环境的JavaScript，可能需要借助Headless Chrome或PhantomJS等无头浏览器技术来渲染和执行页面，获取动态生成的数据。 7. **安全与反反爬策略**：在进行JS解密和逆向时，要...
Phantomjs抓取渲染JS后的网页（Python代码）
01-20
最近需要爬取某网站，无奈页面都是JS渲染后生成的，普通的爬虫框架搞不定，于是想到用Phantomjs搭一个代理。 Python调用Phantomjs貌似没有现成的第三方库（如果有，请告知小编），漫步了一圈，发现只有pyspider提供...
python 爬取 js渲染_python 爬取JS动态加载的网站(百度图库)
weixin_39551993的博客
02-19 1171
1.思路: 利用Charles 抓包工具抓到 js,再是分析图片或者数据的请求的方式,最后得到所有的url,再去request,python的requests库只能爬取静态页面，爬取不了动态加载的页面。但是通过对页面的ajax请求的分析，可以解决一部分动态内容的爬取。这篇文章以爬取百度图片中的动物图片为目标，讲解怎么爬取js动态渲染的内容。1.首先我们要做的就是抓包。这里我用的是charles抓包...
python 爬取 js渲染_python--Selenium(动态渲染页面爬取）
weixin_39979617的博客
11-23 701
上一节，学习了Ajax，Ajax 其实也是JS 动态渲染的页面的一种形式，通过直接分析Ajax，仍然可以借助requests 或者 urllib 来实现数据爬取。但是JS动态渲染的页面不止Ajax 一种；还有就是像淘宝这种页面，即使是Ajax 获取的数据，但是其Ajax 接口含有很多加密参数，我们直接很难找出其规律，，也就很难直接分析Ajax 来抓取。为了解决这些问题，可以直接使用模拟浏览器运行...
python爬虫——如何爬取js渲染的网页之爬取知乎的问题及作者信息
小爬虫的博客
04-10 7230
1. 访问知乎话题搜索python爬虫关键字 2. 往下翻页后的再查看源代码是加载不出来的，只能加载第一页的代码 3. 右键检查刷新之后可以看到下图有这么一个网址，通过这个接口就可以爬取那些渲染后的信息了 4. 随便打开一个，我们需要的信息在这里可以找到，顺便提一下，这个网址返回来的数据是json格式的，也就是可以像字典那样操作 5. 话不多说，代码附上，如果想要爬取多的话，建议弄个代理...
Python爬虫怎么处理js动态渲染的网页?
欧阳金城-武
07-29 7576
可以先看看集搜客gooseeker开源爬虫项目 里面使用了一个 Selenium库的东西，可以调用浏览器渲染页面，然后处理渲染后的页面 Selenium与PhantomJS搭配采集动态网页内容是比较经典的方案，PhantomJS可以在后台实现页面的渲染，而不是调用浏览器完成...
Python利用Phantomjs抓取渲染JS后的网页
01-24 588
最近需要爬取某网站，无奈页面都是JS渲染后生成的，普通的爬虫框架搞不定，于是想到用Phantomjs搭一个代理。 Python调用Phantomjs貌似没有现成的第三方库（如果有，请告知小2），漫步了一圈，发现只有pyspider提供了现成的方案。 简单试用了一下，感觉pyspider更像一个为新手打造的爬虫工具，好比一个老妈子，有时无微不至，有时喋喋不休。 轻巧的小工具应该更受人喜爱，我也
使用python抓取js动态加载的网页
yxwb1253587469的博客
08-17 4万+
原文地址：http://blog.csdn.net/lambert310/article/details/49248109 我们在做网页抓取的时候，一般来说使用urllib和urllib2就能满足大部分需求。 但是有时候我们遇见那种使用js动态加载的网页。就会发现urllib只能抓出一个部分内容空白的网页。就像下面百度图片的结果页：
使用Selenium实现动态渲染页面的爬取
hy_696的博客
04-26 3456
一、安装相关包和软件1、安装Selenium包Pip3 install Selenium2、安装chromedriver访问chromedriver镜像站，下载对应版本的chromedriver，例如我的浏览器版本为安装的的chromdriver为v2.38（其支持的浏览器版本为v65-67，在其支持范围内，下载后将其加入系统环境变量）3、对之前的安装进行测试执行以下代码，如果能正确弹出chr...
python 爬取 js渲染_Python爬虫学习笔记7：动态渲染页面爬取
weixin_39914499的博客
11-20 220
淘宝，它的整个页面数据确实也是通过 Ajax获取的，但是这些 Ajax接口 参数比较复杂，可能会包含加密密钥等， 所以如果想自己构造 Ajax 参数，还是比较困难的 。 对于这 种页面 ， 最方便快捷 的抓取方法就是通过 Selenium商品列表信息# 爬取淘宝页面商品信息，包括商品名称、商品价格、购买人数、店铺名称、店铺所在地from selenium import webdriverfrom ...
Splash结合Python执行JS渲染-Python Spider
Data _designer
03-03 1984
In [1]: #Splash结合Python In [2]: import requests In [3]: import json In [4]: #设置Splash接口 In [5]: render = 'http://www.porters.vip:8050/execute' In [6]: #使用Lua脚本书写命令 In [7]: script = """ ...: ...
python爬虫爬取知乎数据js那些
09-14
要爬取知乎数据，特别是需要处理JavaScript渲染的部分，可以使用以下方法： 1. 使用Selenium库：Selenium是一个用于自动化浏览器操作的库，可以模拟用户在网页上的操作。你可以使用Selenium来加载知乎页面，并获取...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值