优雅的PHP采集框架QueryList

基本介绍:

QueryList是一套用于内容DOM解析的PHP工具,它使用更加现代化的开发思想,语法简洁、优雅,可扩展性强。相比传统的使用晦涩的正则表达式来做DOM解析,QueryList使用了更加强大而优雅的CSS选择器来做DOM解析,大大降低了PHP做DOM解析的门槛,同时也让DOM解析代码易读易维护,让你从此告别晦涩难懂且不易维护的正则表达式😀。

傻瓜教程:

1:安装

这里用的是v4最新版,php要求大于7.1,我是在tp里面安装的,安装也非常简单,在终端执行如下一行代码就可以

composer require jaeger/querylist

2:引用

在index控制器里面引用这个

use QL\QueryList;

3:确定采集地址

如历史上的今天,百度一搜索就有,地址是https://www.baidu.com/s?wd=历史上的今天

4:确定页面采集目标

打开采集地址,按F12,点击下图的小箭头或者ctrl+shift+c,选中要采集的内容。

可以看到:

要采集的东西就是一堆class=card_ZQsT-的<a>标签的合集;

img标签的src地址就是头像地址;

class="year-tag_3Iqeg" 里面内容为年份信息;

class="title_3qCGt" 里面包含的是事件信息;

 5:设置采集规则进行采集

public function index()
{
    $api = "https://www.baidu.com/s?wd=历史上的今天";
    $rules = [
        "content" => [".title_3qCGt","text"],
        "year" => [".year-tag_3Iqeg","text"],
        "img" => ["img","src"],
	];
    $range = '.card_ZQsT-';
    $data = QueryList::get($api)->rules($rules)->range($range)->queryData();
    echo(json_encode($data));die;
}

6:采集结果

 历史今天采集就此完成,当然,采集可能会遇到各种各样的问题,官方文档地址:http://www.querylist.cc/docs/guide/v4

  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
QueryList 是一个基于Python的Web数据采集框架,它提供了简单易用的API,可以方便地从网页中提取数据。该框架基于XPath和CSS选择器进行数据提取,并且支持多线程和分布式采集。 使用QueryList,你可以通过发送HTTP请求获取网页内容,并通过提供的选择器来提取所需的数据。它还内置了一些常用的数据处理方法,如去除HTML标签、字符串处理、日期格式化等。 QueryList的安装非常简单,你只需使用pip命令即可安装: ``` pip install querylist ``` 安装完成后,你可以在Python代码中导入QueryList并开始使用它来进行网页数据采集和处理。 以下是一个简单的示例代码,展示了如何使用QueryList框架进行数据采集: ```python from querylist import QueryList # 创建一个QueryList对象 ql = QueryList() # 发送HTTP请求并获取网页内容 ql.get('http://example.com') # 使用XPath选择器提取标题和链接 data = ql.xpath('//h3/a') # 遍历提取到的数据并打印 for item in data: print(item.text(), item.attr.href) ``` 以上代码中,我们首先创建了一个QueryList对象,然后使用get方法发送HTTP请求获取网页内容。接着使用xpath方法提取标题和链接的数据,并通过遍历打印出来。 QueryList还有很多其他功能和方法,比如支持POST请求、模拟登录、代理设置等。你可以查看官方文档以获得更详细的信息和示例代码。 注意:本AI助手回答的问题仅供参考,对于具体的代码实现和功能细节,请以官方文档或代码示例为准。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Yuzsmc

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值