queryList爬虫获取内容的几种方法总结 queryList给抓取的内容增加html追加元素html 代码实例...

最新推荐文章于 2023-06-30 15:10:43 发布
最新推荐文章于 2023-06-30 15:10:43 发布
阅读量3.5k 收藏 2
点赞数 1
文章标签： 爬虫 javascript java ViewUI
原文链接：http://www.cnblogs.com/stillstep/p/10953512.html
版权 
//简略内容:
1.
$data1 = $ql->find('.two img')->map(function($item){
    return $item->alt;
});
// 等价下面这句话
$data2 = $ql->find('.two img')->attrs('alt');

2.
$texts = $ql->find('.two>a')->texts();
$htmls = $ql->find('#one span')->htmls();

3.
$ql = QueryList::get('https://www.ithome.com/html/discovery/358585.htm');
$rt = [];
// 采集文章标题
$rt['title'] = $ql->find('h1')->text();

4.采集列表所有  用all
$rt = QueryList::get($url)->rules($rules)->query()->getData();
print_r($rt->all());
//QueryList V4.0.4版本新增了一个queryData()语法糖来简化这种操作:
$rt = QueryList::get($url)->rules($rules)->queryData();
queryData()方法等同于query()->getData()->all()

$ql = QueryList::html($html); // 获取div元素对象 $div = $ql->find('div:eq(0)'); // 向div元素中追加一个img元素 queryList给抓取的内容增加html追加元素html 
//(在元素操作页面文档 不是结果处理 http://www.querylist.cc/docs/guide/v4/modify-dom) $div->append('<img src="1.jpg" />');

//获取HTTP响应头等信息
use GuzzleHttp\Client;

$client = new Client();
$response = $client->get('http://httpbin.org/get');
// 获取响应头部信息
$headers = $response->getHeaders();

//内容过滤
// 采集正文内容
$eles = QueryList::html($html)->find('#content');
// 选择正文内容中要移除的元素，并移除
$eles->find('.tt,span:last,p:last')->remove();
//获取纯净的正文内容
$content = $eles->html();

$rt = QueryList::rules($rules)->html($html)->query()->getData();

$rt = QueryList::rules($rules)
    ->html($html)
    ->query()
    ->getData(function($item){
        $ql = QueryList::html($item['content']);
        $ql->find('.tt,span:last,p:last')->remove();
        $item['content'] = $ql->find('')->html();
        return $item;
    });

//QueryList内置的HTTP客户端
//更多高级参数
//还可以携带更多高级参数，如：设置超时时间、设置代理等。
$ql = QueryList::get('http://httpbin.org/get',[
    'param1' => 'testvalue',
    'params2' => 'somevalue'
],[
                         // 设置代理
                         'proxy' => 'http://222.141.11.17:8118',
                         //设置超时时间，单位：秒
                         'timeout' => 30,
                         'headers' => [
                             'Referer' => 'https://querylist.cc/',
                             'User-Agent' => 'testing/1.0',
                             'Accept'     => 'application/json',
                             'X-Foo'      => ['Bar', 'Baz'],
                             'Cookie'    => 'abc=111;xxx=222'
                         ]
                     ]);

//使用文件缓存驱动
//// 缓存文件夹路径
//$cache_path = __DIR__.'/temp/';
$ql = QueryList::get($url,null,[
    'cache' => $cache_path,
    'cache_ttl' => 600 // 缓存有效时间，单位：秒，可以不设置缓存有效时间
]);

//使用 HTTP Cache
//use GuzzleHttp\Psr7\Response;
//use QL\QueryList;
//
//$urls = [
//    'https://github.com/trending/go?since=daily',
//    'https://github.com/trending/html?since=daily',
//    'https://github.com/trending/java?since=daily'
//];

QueryList::multiGet($urls)
    ->success(function(QueryList $ql,Response $response, $index) use($urls){
        echo 'Current url: '.$urls[$index]."\r\n";
        $data = $ql->find('h3>a')->texts();
        print_r($data->all());
    })->send();

//更高级的用法

//use GuzzleHttp\Psr7\Response;
//use QL\QueryList;
//
//$urls = [
//    'https://github.com/trending/go?since=daily',
//    'https://github.com/trending/html?since=daily',
//    'https://github.com/trending/java?since=daily'
//];
//
//$rules = [
//    'name' => ['h3>a','text'],
//    'desc' => ['.py-1','text']
//];
//$range = '.repo-list>li';
QueryList::rules($rules)
    ->range($range)
    ->multiGet($urls)
    // 设置并发数为2
    ->concurrency(2)
    // 设置GuzzleHttp的一些其他选项
    ->withOptions([
                      'timeout' => 60
                  ])
    // 设置HTTP Header
    ->withHeaders([
                      'User-Agent' => 'QueryList'
                  ])
    // HTTP success回调函数
    ->success(function (QueryList $ql, Response $response, $index){
        $data = $ql->queryData();
        print_r($data);
    })
    // HTTP error回调函数
    ->error(function (QueryList $ql, $reason, $index){
        // ...
    })
    ->send();

//详细版
1.
$data1 = $ql->find('.two img')->map(function($item){
    return $item->alt;
});
// 等价下面这句话
$data2 = $ql->find('.two img')->attrs('alt');

print_r($data1->all());

2.
$texts = $ql->find('.two>a')->texts();
$htmls = $ql->find('#one span')->htmls();

print_r($texts->all());

3.
use QL\QueryList;

$ql = QueryList::get('https://www.ithome.com/html/discovery/358585.htm');

$rt = [];
// 采集文章标题
$rt['title'] = $ql->find('h1')->text();

4.采集列表所有  用all
//use QL\QueryList;

//$url = 'https://www.ithome.com/html/discovery/358585.htm';
//// 定义采集规则
//$rules = [
//    // 采集文章标题
//    'title' => ['h1','text'],
//    // 采集文章作者
//    'author' => ['#author_baidu>strong','text'],
//    // 采集文章内容
//    'content' => ['.post_content','html']
//];
$rt = QueryList::get($url)->rules($rules)->query()->getData();
print_r($rt->all());

$rt = QueryList::get($url)->rules($rules)->query()->getData();
print_r($rt->all());
//QueryList V4.0.4版本新增了一个queryData()语法糖来简化这种操作:

$rt = QueryList::get($url)->rules($rules)->queryData();
queryData()方法等同于query()->getData()->all()


//QueryList内置的HTTP客户端
//更多高级参数
//还可以携带更多高级参数，如：设置超时时间、设置代理等。

$ql = QueryList::get('http://httpbin.org/get',[
    'param1' => 'testvalue',
    'params2' => 'somevalue'
],[
                         // 设置代理
                         'proxy' => 'http://222.141.11.17:8118',
                         //设置超时时间，单位：秒
                         'timeout' => 30,
                         'headers' => [
                             'Referer' => 'https://querylist.cc/',
                             'User-Agent' => 'testing/1.0',
                             'Accept'     => 'application/json',
                             'X-Foo'      => ['Bar', 'Baz'],
                             'Cookie'    => 'abc=111;xxx=222'
                         ]
                     ]);

//使用文件缓存驱动
//// 缓存文件夹路径
//$cache_path = __DIR__.'/temp/';
$ql =  = QueryList::get($url,null,[
    'cache' => $cache_path,
    'cache_ttl' => 600 // 缓存有效时间，单位：秒，可以不设置缓存有效时间
]);

//使用 HTTP Cache
//use GuzzleHttp\Psr7\Response;
//use QL\QueryList;
//
//$urls = [
//    'https://github.com/trending/go?since=daily',
//    'https://github.com/trending/html?since=daily',
//    'https://github.com/trending/java?since=daily'
//];

QueryList::multiGet($urls)
    ->success(function(QueryList $ql,Response $response, $index) use($urls){
        echo 'Current url: '.$urls[$index]."\r\n";
        $data = $ql->find('h3>a')->texts();
        print_r($data->all());
    })->send();

//更高级的用法

//use GuzzleHttp\Psr7\Response;
//use QL\QueryList;
//
//$urls = [
//    'https://github.com/trending/go?since=daily',
//    'https://github.com/trending/html?since=daily',
//    'https://github.com/trending/java?since=daily'
//];
//
//$rules = [
//    'name' => ['h3>a','text'],
//    'desc' => ['.py-1','text']
//];
//$range = '.repo-list>li';
QueryList::rules($rules)
    ->range($range)
    ->multiGet($urls)
    // 设置并发数为2
    ->concurrency(2)
    // 设置GuzzleHttp的一些其他选项
    ->withOptions([
                      'timeout' => 60
                  ])
    // 设置HTTP Header
    ->withHeaders([
                      'User-Agent' => 'QueryList'
                  ])
    // HTTP success回调函数
    ->success(function (QueryList $ql, Response $response, $index){
        $data = $ql->queryData();
        print_r($data);
    })
    // HTTP error回调函数
    ->error(function (QueryList $ql, $reason, $index){
        // ...
    })
    ->send();

//获取HTTP响应头等信息
use GuzzleHttp\Client;

$client = new Client();
$response = $client->get('http://httpbin.org/get');
// 获取响应头部信息
$headers = $response->getHeaders();

//内容过滤
// 采集正文内容
$eles = QueryList::html($html)->find('#content');
// 选择正文内容中要移除的元素，并移除
$eles->find('.tt,span:last,p:last')->remove();
//获取纯净的正文内容
$content = $eles->html();

//$rules = [
//    // 移除内容中所有的超链接，但保留超链接的内容，并移除内容中所有p标签，但保留p标签的内容
//    'content_html' => ['#content','html','a p'],
//    // 保留内容中的超链接，以及保留p标签及内容
//    'content_text' => ['#content','text','a p'],
//];

$rt = QueryList::rules($rules)->html($html)->query()->getData();

//
//$rules = [
//    'content' => ['#content','html']
//];

$rt = QueryList::rules($rules)
    ->html($html)
    ->query()
    ->getData(function($item){
        $ql = QueryList::html($item['content']);
        $ql->find('.tt,span:last,p:last')->remove();
        $item['content'] = $ql->find('')->html();
        return $item;
    });

 

$data1 = $ql->find('.two img')->map(function($item){    return $item->alt;});$data1 = $ql->find('.two img')->map(function($item){    return $item->alt;});// 等价下面这句话$data2 = $ql->find('.two img')->attrs('alt');
print_r($data1->all());$texts = $ql->find('.two>a')->texts();$htmls = $ql->find('#one span')->htmls();
print_r($texts->all());

转载于:https://www.cnblogs.com/stillstep/p/10953512.html

weixin_30954265
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
querylist数据爬虫入门
惟一||.唯一 的博客
09-28 678
很多小伙伴都知道python爬虫可以使用BeautifulSoup和request等，但是使用php同时又想爬虫结合他们是很痛苦的，经过小编的尝试找到了一套针对php编程者使用的QueryList。 QueryList 简介 点击查看官方文档QueryList V4 中文文档 QueryList是一套用于内容采集的PHP工具，它使用更加现代化的开发思想，语法简洁、优雅，...
优雅的PHP采集框架QueryList
Yuzsmc
10-24 3427
QueryList是一套用于内容DOM解析的PHP工具，它使用更加现代化的开发思想，语法简洁、优雅，可扩展性强。相比传统的使用晦涩的正则表达式来做DOM解析，QueryList使用了更加强大而优雅的来做DOM解析，大大降低了PHP做DOM解析的门槛，同时也让DOM解析代码易读易维护，让你从此告别晦涩难懂且不易维护的正则表达式😀。
querylist 入门query部署，获取网页的信息。
廖圣平
08-07 3055
1， 以thinkphp3.2  为例子，在thinkphp/libriy/创建一个目录 QL/  装入.qeurylist.php   和， queruseylist.class.php                        2,在controller层里创建一个php 的文件，use  QL/queryliset.                     <?php namespa
queryList爬取数据
2301_76740365的博客
06-30 157
安装QueryList相当的简单，打开项目目录，运行compose命令进行安装。//$catchUrl抓取的网址。剩下的curd可根据抓取到的数据进行操作和修改。//$range抓取的大致范围。// $reg抓取的内容信息。以上只是一个简单的案例，要想深入学习，推荐去这个。在控制器中引入相应的类就可以开始使用了。
基于ThinkPHP5 使用QueryList爬取 并存入mysql数据库
Trailbreaker
02-16 1136
QueryList4教程 地址： https://doc.querylist.cc/site/index/doc/45 在ThinkPHP5代码根目录执行composer命令安装QueryList: composer require jaeger/querylist 如果出现 以下错误 Loading composer repositories with package information Updating dependencies (including require-dev)
PHP爬虫升级版，基于swoole与QueryList.zip
最新发布
04-08
# PHP爬虫，基于swoole与QueryList **执行方式：CLI** - 启动: #php start.php - 停止: #php stop.php **运行环境** ``` php >= 7.0 配置swoole扩展与redis扩展 ``` **执行顺序** ``` 1. 执行php tastqueue.php...
QueryList.php+phpQuery.php下载
12-05
然后，你可以创建QueryList实例，调用其提供的方法如`get`来发起HTTP请求并获取HTML内容，接着使用`doc`方法加载HTML文档，再通过CSS选择器提取所需数据。phpQuery的功能则可以在QueryList的实例中直接调用，用于更...
QueryList_v3_v4.zip
12-21
QueryList是一个基于phpQuery的PHP通用列表采集类,得益于phpQuery，让使用QueryList几乎没有任何学习成本，只要会CSS3选择器就可以轻松使用QueryList了，它让PHP做采集像jQuery选择元素一样简单。 需要注意的是： ...
QueryList采集类库.zip
07-11
QueryList|基于phpQuery的无比强大的PHP...得益于phpQuery，让使用QueryList几乎没有任何学习成本，只要会CSS3选择器就可以轻松使用QueryList了，和jQuery选择器用法完全通用，它让PHP做采集像jQuery选择元素一样简单。
QueryList采集工具 v4.1.0.zip
03-27
QueryList的核心概念主要包括以下几个方面： 1. **规则系统**：QueryList通过CSS选择器或XPath表达式定义规则，可以快速定位到目标网页元素，提取所需的数据。这极大地简化了网页数据的提取过程，使得非编程背景的...
tp5 利用QueryList + PhantomJS实现抓取淘宝京东天猫商品数据
12-20
tp5 利用QueryList + PhantomJS实现抓取淘宝京东天猫商品数据 商品图片,商品详情,规格,参数,价格都能完美获取
thinkphp3.2.3 querylist3.0 爬虫 简单、 灵活、强大的采集工具
09-12
QueryList是一个基于phpQuery的通用列表采集类,是一个简单、 灵活、强大的采集工具，采集任何复杂的页面 基本上就一句话就能搞定了。
php使用QueryList轻松采集JavaScript动态渲染页面
wohj1的博客
10-07 1532
QueryList使用jQuery的方式来做采集，拥有丰富的插件。 下面来演示QueryList使用PhantomJS插件抓取JS动态创建的页面内容。安装使用Composer安装： 安装QueryList composer require jaeger/querylist GitHub: https://github.com/jae-jae/QueryList安装PhantomJS插件 comp
PHP 用QueryList抓取网页内容
weixin_30609331的博客
08-09 268
之前抓取网页数据都是用Java Jsoup,前几天听说用PHP抓更方便,今天就简单研究了一下,主要是用QueryList来实现. QueryList是一个基于phpQuery的通用列表采集类,是一个简单、 灵活、强大的采集工具，采集任何复杂的页面 基本上就一句话就能搞定了. 直接拿博客园举例子了,http://www.cnblogs.com/我们用QueryList来抓取红框里面的内容...
使用phpquerylist爬取csdn文章
码农Robin的博客
11-14 1110
composer安装phpquerylist4 在项目目录下创建composer.json文件： { "require": { "jaeger/querylist": "^4.0" } } 命令行运行命令： composer install 就可以得到vendor文件夹，文件结构如下图： 2、创建方法，采集、存储数据 &lt;?php /** * @Fi...
phpQuery解析HTML乱码问题（补充官网未列出的乱码解决方案）
热门推荐
slongzhang的博客
12-14 10万+
phpQuery解析HTML( $dom = new DOMDocument(); )在有html头部时会去识别查询<meta charset=“字符编码”>，对按charset编码去解析，但部分html的编码声明是使用<meta http-equiv=“content-type” content=“text/html; charset=字符编码” /> 这个时候只需要对要解析的内容拼接“<meta charset=“字符编码”>”即可； <?php date.
php爬虫QueryList使用
php阿宝的博客
08-04 1856
1、QueryList手册：https://www.php.cn/course/371.html QueryList V4版本文档：https://querylist.cc/docs/guide/v4/ 2、下载QueryList：https://www.php.cn/xiazai/leiku/308，解压得到phpQuery.php和QueryList.php这两个文件。 3...
PHP 抓取数据
杰姆小生的博客
02-23 274
通过Composer安装 composer require jaeger/querylist 示例 $text = ['1.','2.','3.','4.','5.','6.','7.']; for($i=1;$i<6;$i++ ){ $infos=[]; $qu=new QueryList(); $url= 'https://www.854.com/zuoyouminglizhi/list
php正则表达式查找html内容,如何利用PHP的正则表达式来获取HTML中的内容
weixin_35725147的博客
03-20 1060
公告： 为响应国家净网行动，部分内容已经删除，感谢读者理解。话题：如何利用PHP的正则表达式来获取HTML中的内容回答：preg_match('/(.*?)/',$str,$result);$str就是上面的html里面的内容，$result就是匹配到的字符串，你可以print_r($result)；看看里面就有你要的结果，或者直接echo $result[1]；就是“在LINUX下配置MYSQL...
Invalid bound statement (not found): com.hjh.mapper.EmployeeMapper.queryList
10-04
Invalid bound statement (not found): com.hjh.mapper.EmployeeMapper.queryList 错误是由于项目运行时找不到对应的查询语句导致的。解决这个问题的方法包括以下几点： 1. 确保在启动Spring Boot应用程序时已经添加了正确的@MapperScan注解，注解参数指定了mapper接口所在的包路径。 2. 确保mapper接口上添加了@Mapper注解，以便MyBatis能够正确识别和处理该接口。 3. 确保在mapper接口中定义了对应的查询方法，并且在对应的mapper.xml文件中编写了正确的查询语句。 4. 确保mapper.xml文件位于正确的位置，并且在项目编译之后仍然存在。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值