php 爬虫如何爬取ajax异步加载文件

最近做爬虫,遇到了需要爬取异步文件中的内容,结果找不到方法,耽搁了好久,最后终于找到啦,使用phantomjs

直接下载phantomjs,然后可以直接使用啦

贴出codes.js


    //codes.js     
    system = require('system')     
    address = system.args[1];//获得命令行第二个参数 接下来会用到     
    var page = require('webpage').create();     
    var url = address;
    page.settings = {
    		  loadImages: false,   //禁止加载图片
    		  resourceTimeout = 10000,
    		  userAgent: 'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.31 (KHTML, like Gecko) PhantomJS/19.0'
    		};
    page.open(url, function (status) {          
        if (status !== 'success') {     
            //console.log('Unable to post!');     
        } else {             
            console.log(page.evaluate(function(){
 	    	var c = document.querySelector('#pgrow').innerHTML;  //获取HTML中pgrow标签内的内容
            	return c; 
            }));
        }        
        phantom.exit();     
    }); 

php部分:
<?php
$command = "F:/PHP/workspace/Test1/phantomjs.exe F:/PHP/workspace/Test1/codes.js $url 2>&1";  
            $page =exec($command,$output);  //执行结果但不输出  
            //$page =  passthru($command);   //直接输出整个内容  
            var_dump($output);
?>
 


这样就可以获取到啦,接下来你就可以随心所欲了。希望对大家有帮助!


  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值