JAVA 爬虫获取js动态生成的网页数据

当遇到由JavaScript动态生成的网页数据难以直接获取时,可以使用PhantomJS进行处理。首先从官方网站下载并解压PhantomJS,在Windows环境下找到bin目录下的exe可执行文件。然后编写一个parser.js脚本来执行页面加载和数据提取。最后通过Java调用PhantomJS来执行这个脚本,从而获取到js加载后的网页数据。
摘要由CSDN通过智能技术生成

问题:
有些网页数据是由js动态生成的,一般我们抓包可以看出真正的数据实体是由哪一个异步请求获取到的,但是获取数据的请求链接也可能由其他js产生,这个时候我们希望直接拿到js加载后的最终网页数据。

解决方法:
phantomjs
1.下载phantomjs,[官网]:http://phantomjs.org/
2.我们是windows平台,解压,会在bin目录下看到exe可执行文件,有它就够啦。
3.写一个parser.js:

system = require('system')  
address = system.args[1];
var page = require('webpage').create();  
var url = address;  

page.settings.resourceTimeout = 1000*10;
  • 13
    点赞
  • 19
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值