php使用QueryList轻松采集JavaScript动态渲染页面

最新推荐文章于 2024-04-18 16:07:31 发布
最新推荐文章于 2024-04-18 16:07:31 发布
阅读量1.5k 收藏
点赞数 1
分类专栏： QueryList 文章标签： QueryList phpQuery php 采集 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wohj1/article/details/78168929
版权
本文介绍了如何使用QueryList PHP库配合PhantomJS插件抓取JavaScript动态生成的内容。首先通过Composer安装QueryList和其PhantomJS插件，接着下载PhantomJS二进制文件。通过QueryList的browser方法结合插件API，实现对动态页面的采集，如在‘今日头条’手机版案例中，展示如何获取动态渲染的HTML及p标签文本内容，同时提供了设置http代理和加载本地cookie文件的方法。
摘要由CSDN通过智能技术生成

QueryList使用jQuery的方式来做采集，拥有丰富的插件。

下面来演示QueryList使用PhantomJS插件抓取JS动态创建的页面内容。

安装

使用Composer安装：

  • 安装QueryList
composer require jaeger/querylist

GitHub: https://github.com/jae-jae/QueryList

  • 安装PhantomJS插件
composer require jaeger/querylist-phantomjs

GitHub: https://github.com/jae-jae/QueryList-PhantomJS

下载PhantomJS二进制文件

PhantomJS官网:http://phantomjs.org ，下载对应平台的PhantomJS二进制文件。

插件API

  • QueryList browser(
最低0.47元/天 解锁文章
Jaeger_
关注
专栏目录
QueryList入门
timoraty的博客
02-03 1481
QueryList入门 规则库的编写 $rules = array( '规则名' => array('jQuery选择器','要采集的属性'), '规则名2' => array('jQuery选择器','要采集的属性'), .......... ); 利用编写的规则库，收集对应的元素 <?php namespace app\index\controller; //require 'vendor/autoload.php'; //导入QueryList的库 use Q
PHP 爬虫体验（三） - 使用PHP + puppeteer爬取js动态渲染的页面内容
aiwu6183的博客
03-14 740
之前写的两篇爬虫体验基本上涵盖了一般的Html页面提取场景，但是有些时候，如果目标页面不是纯静态的页面，而是使用js动态渲染的页面（比如one），之前的爬虫就不好使了，这种时候就要借助一些其他工具来进行实现。 一般爬取动态页面的思路是通过软件模拟浏览器行为获取到渲染后的页面镜像，然后再对渲染后的页面进行分析，常用的工具有selenium，phantomJs，puppeteer等，通过对...
php使用QueryList轻松采集js动态渲染页面方法
静如雪的博客
10-08 5450
转载链接：https://mp.weixin.qq.com/s/4Dp1VnzEpEMuK1xhE9KGbg QueryList使用jQuery的方式来做采集，拥有丰富的插件。下面来演示QueryList使用PhantomJS插件抓取JS动态创建的页面内容。 一、安装 使用Composer安装： 1.安装QueryList composerrequirejaeger/quer...
php采集js动态内容的方法一
youcijibi的博客
09-19 1698
一，根据自己的平台下载安装phantomjs https://phantomjs.org/download.html 二，调用某个js文件去访问需要采集的url连接 // Example using HTTP POST operation "use strict"; var page = require('webpage').create(), system = require(...
php采集列表页,QueryList: QueryList是一个基于phpQuery的通用列表采集类,是一个简单、 灵活、强大的采集工具，采集任何复杂的页面 基本上就一句话就能搞定了。...
weixin_42545163的博客
03-16 403
QueryList简介QueryList是一个基于phpQuery的通用列表采集类,是一个简单、 灵活、强大的采集工具，采集任何复杂的页面 基本上就一句话就能搞定了。QueryList 安装通过composer安装:composer require jaeger/querylistQueryList 使用下面演示QueryList用一句代码采集百度搜索结果：//获取采集对象$hj = Qu...
毕设&课设&项目&实训-基于laravel的爬虫框架，支持页面深度采集与JavaScript动态渲染页面爬取.zip
02-04
毕设&课设&基于laravel的爬虫框架，使用 QueryList3 采集指定站点“999小说”，支持页面深度采集与JavaScript动态渲染页面爬取 【项目资源】： 包含前端、后端、移动开发、操作系统、人工智能、物联网、信息化管理、...
PHP获取HTML内容及动态渲染js加载内容 （使用querylist）
qq_42413925的博客
06-08 5155
1.安装安装querylistcomposer require jaeger/querylist安装phantomjscomposer require jaeger/querylist-phantomjs  //PHP版本必须 &gt;=7.0下载对应你电脑系统的PhantomJS二进制文件，放到电脑任意路径，下面会用到这个路径,下载页面直达：http://phantomjs.org/downlo...
thinkphp3.2.3 querylist3.0 爬虫 简单、 灵活、强大的采集工具
09-12
QueryList是一个基于phpQuery的通用列表采集类,是一个简单、 灵活、强大的采集工具，采集任何复杂的页面 基本上就一句话就能搞定了。
QueryList一个基于phpQuery的无比强大的采集工具
wang_quan_li的专栏
05-13 2847
QueryList是一个基于phpQuery的通用列表采集类,是一个简单、 灵活、强大的采集工具，采集任何复杂的页面 基本上就一句话就能搞定了。 QueryList 使用 //实例化一个采集对象 $hj = new QueryList('http://www.baidu.com/s?wd=jaekj',array('title'=>array('h3','text'))); //输
爬虫：QueryList 优雅的渐进式PHP采集框架
Buernnm的博客
08-20 605
目录 @[TOC]安装 @[TOC]简单使用 @[TOC]QueryList文档 @[TOC]简单测试 这是QueryList官方介绍，那么他到底是如何简单的呢？我们一起看看 ###安装 ###简单使用 ###QueryList文档 http://www.querylist.cc/docs/guide/v4/example 文档介绍相当清楚，使用起来也相当便捷...
使用QueyList采集插件采集数据
channel)海峡的博客
05-22 336
借鉴地址：https://www.php.cn/php/php-QueyList-kaishi.html https://www.cnblogs.com/richerdyoung/p/11765206.html 环境：phpstudy 7.3 编辑器sublime apache2.4.39 直接开撸： 1.安装composer （省略） 2./WWW/目录下新建一个index.php文件 3.安装插件 composer require jaeger/querylist:V3.2.1 ...
PHP插件QueryList采集
JiaZhaoMeng的博客
03-21 677
/** * composer命令下载querylist插件 **/ composer require jaeger/querylist /** * 在控制器中引用下载完的querylist类 **/ use QL\QueryList; /** * 简单使用 **/ $data = QueryList::get('https://www.baidu.com/s?wd=QueryList'...
querylist 入门query部署，获取网页的信息。
廖圣平
08-07 3070
1， 以thinkphp3.2  为例子，在thinkphp/libriy/创建一个目录 QL/  装入.qeurylist.php   和， queruseylist.class.php                        2,在controller层里创建一个php 的文件，use  QL/queryliset.                     <?php namespa
QueryList_PHP采集框架
最新发布
weixin_42514783的博客
04-18 372
QueryList 是什么 QueryList是一套用于内容采集的PHP工具，它使用更加现代化的开发思想，语法简洁、优雅，可扩展性强。相比传统的使用晦涩的正则表达式来做采集，QueryList使用了更加强大而优雅的CSS选择器来做采集，大大降低了PHP做采集的门槛，同时也让采集代码易读易维护，让你从此告别晦涩难懂且不易维护的正则表达式。 QueryList 提供的一整套内容采集解决方案 ...
最简单的php爬虫库 QueryList
向宇
07-28 808
1.简单的爬取某网站图片 前端代码 creeper.html <div class="container"> <form class="form-inline" action="{:cmf_url('portal/Creeper/creeper_images')}" method="get"> <div class="form-group"> <label for="inputEmail3" class="contro
优雅的PHP采集框架QueryList
Yuzsmc
10-24 3463
QueryList是一套用于内容DOM解析的PHP工具，它使用更加现代化的开发思想，语法简洁、优雅，可扩展性强。相比传统的使用晦涩的正则表达式来做DOM解析，QueryList使用了更加强大而优雅的来做DOM解析，大大降低了PHP做DOM解析的门槛，同时也让DOM解析代码易读易维护，让你从此告别晦涩难懂且不易维护的正则表达式😀。
php querylist获取图片img
06-09
可以使用 QueryList 的 find() 方法来获取网页中的图片标签，然后再使用 attr() 方法获取图片的 src 属性值。以下是获取网页中所有图片的 src 属性值的示例代码： ```php use QL\QueryList; $...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值