QueryList 采集

自己所总结的QueryList 采集

//1.首先引入正确的路径 找到queryList 里面两个以.php 的结尾的文件:

require '../../QueryList3/phpQuery.php';
require '../../QueryList3/QueryList.php';

//2.使用 一下文件:

 use   QL\QueryList;

//3.定义我们要采集的网址

 $html="http://zhibohenan.com/index.php/Home/Type/index/typeid/1.html";

//4.定义采集规则
/用中括号括起来我们要采集的元素 中间用>隔开层级 如:class=fl 下面的div里面的p标签下面span元素的a标签里面的内容/

$rule=[
    'title'=>['.fl>div>p>span>a','html'],
    'cont'=>['.fl>div>p>span>a','html'],
    'img'=>['.fl>div>p>span>a>img','href']
];

//下面是我在该网站选择要截取的元素的内容 层级关系一定要理清,一级>下一级
在这里插入图片描述截取于 直播河南 zhibohenan.com

//5.执行采集

$data=QueryList::Query($html,$rule)->data;

注:一定要指向一个data 否则会截取到页面所有的元素

//6.最后打印data

print_r($data);
  • 1
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
QueryList 是一个基于Python的Web数据采集框架,它提供了简单易用的API,可以方便地从网页中提取数据。该框架基于XPath和CSS选择器进行数据提取,并且支持多线程和分布式采集。 使用QueryList,你可以通过发送HTTP请求获取网页内容,并通过提供的选择器来提取所需的数据。它还内置了一些常用的数据处理方法,如去除HTML标签、字符串处理、日期格式化等。 QueryList的安装非常简单,你只需使用pip命令即可安装: ``` pip install querylist ``` 安装完成后,你可以在Python代码中导入QueryList并开始使用它来进行网页数据采集和处理。 以下是一个简单的示例代码,展示了如何使用QueryList框架进行数据采集: ```python from querylist import QueryList # 创建一个QueryList对象 ql = QueryList() # 发送HTTP请求并获取网页内容 ql.get('http://example.com') # 使用XPath选择器提取标题和链接 data = ql.xpath('//h3/a') # 遍历提取到的数据并打印 for item in data: print(item.text(), item.attr.href) ``` 以上代码中,我们首先创建了一个QueryList对象,然后使用get方法发送HTTP请求获取网页内容。接着使用xpath方法提取标题和链接的数据,并通过遍历打印出来。 QueryList还有很多其他功能和方法,比如支持POST请求、模拟登录、代理设置等。你可以查看官方文档以获得更详细的信息和示例代码。 注意:本AI助手回答的问题仅供参考,对于具体的代码实现和功能细节,请以官方文档或代码示例为准。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值