laravel框架中使用QueryList插件采集数据

laravel框架中使用queryList 采集数据

      采集数据对我们来说真家常便饭,那么苦苦的写正则采集那么一点点东西,花费了自己大把的时间和精力而且没有一点技术含量,这个时候就是使用我们的好搭档QueryList的好时机。

queryList的网上文档:https://doc.querylist.cc/site/index/doc/8

 1、下载QueryList

      http://querylist.cc/

2、解压引入到laravel框架中 

  将QueryList 文件放入 app/


3、回到laravel框架根目录下

打开compose.json


添加

   "autoload": {
        "classmap": [
            "database",
            "app/QueryList"
        ],
        "psr-4": {
            "App\\": "app/"
        }
    },

4、打开cmd进入到laravel根目录下

  输入命令:composer dumpautoload


此时 Query就可以使用了


控制器示例:

use QL\QueryList;


  public function test(){
        // echo 123;exit;
        $url ="http://www.94uv.com/meishi/";
        $title =[
            'text' =>['.article-text h2 a','text'],
            'link' =>['.article-text h2 a','href']
        ];

        $res = QueryList::Query($url,$title)->data;
            print_r($res);exit;
     }


  输出结果:

  Array
(
    [0] =>; Array
        (
            [text] =>; 蛙来哒东塘再开新店,优惠三折起。
            [link] =>; /meishi/2016-11/42720.html
        )

    [1] =>; Array
        (
            [text] =>; 万圣向上,云端狂欢|奥克斯万圣主题云端跑UP落幕
            [link] =>; /meishi/2016-11/42718.html
        )

    [2] =>; Array
        (
            [text] =>; 八色烤肉新推各式套餐,还有周杰伦门票送!
            [link] =>; /meishi/2016-11/42716.html
        )

    [3] =>; Array
        (
            [text] =>; 长沙芙蓉国温德姆至尊豪廷大酒店自助小火锅热辣来袭
            [link] =>; /meishi/2016-10/42713.html
        )

    [4] =>; Array
        (
            [text] =>; 911餐吧开业,长沙满哥8分钟挑战巨无霸大汉堡。
            [link] =>; /meishi/2016-10/42712.html
        )

    [5] =>; Array
        (
            [text] =>; 隐鮨新店启幕 打造蓝鳍金枪鱼盛宴
            [link] =>; /meishi/2016-10/42709.html
        )

    [6] =>; Array
        (
            [text] =>; 日料创意新吃法 温暖焗寿司上市
            [link] =>; /meishi/2016-09/42708.html
        )

    [7] =>; Array
        (
            [text] =>; 香天下火锅“火辣”参展2016中国食品餐饮博览会
            [link] =>; /meishi/2016-09/42699.html
        )

    [8] =>; Array
        (
            [text] =>; 最红吃货节丨用中式美味为每个吃货猎艳幸福感
            [link] =>; /meishi/2016-09/42698.html
        )

    [9] =>; Array
        (
            [text] =>; 长沙首家五星级海鲜自助火锅闪耀登场
            [link] =>; /meishi/2016-08/42697.html
        )

)






    

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
QueryList 是一个基于Python的Web数据采集框架,它提供了简单易用的API,可以方便地从网页提取数据。该框架基于XPath和CSS选择器进行数据提取,并且支持多线程和分布式采集使用QueryList,你可以通过发送HTTP请求获取网页内容,并通过提供的选择器来提取所需的数据。它还内置了一些常用的数据处理方法,如去除HTML标签、字符串处理、日期格式化等。 QueryList的安装非常简单,你只需使用pip命令即可安装: ``` pip install querylist ``` 安装完成后,你可以在Python代码导入QueryList并开始使用它来进行网页数据采集和处理。 以下是一个简单的示例代码,展示了如何使用QueryList框架进行数据采集: ```python from querylist import QueryList # 创建一个QueryList对象 ql = QueryList() # 发送HTTP请求并获取网页内容 ql.get('http://example.com') # 使用XPath选择器提取标题和链接 data = ql.xpath('//h3/a') # 遍历提取到的数据并打印 for item in data: print(item.text(), item.attr.href) ``` 以上代码,我们首先创建了一个QueryList对象,然后使用get方法发送HTTP请求获取网页内容。接着使用xpath方法提取标题和链接的数据,并通过遍历打印出来。 QueryList还有很多其他功能和方法,比如支持POST请求、模拟登录、代理设置等。你可以查看官方文档以获得更详细的信息和示例代码。 注意:本AI助手回答的问题仅供参考,对于具体的代码实现和功能细节,请以官方文档或代码示例为准。
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值