php爬虫抓取js渲染的数据的黄色网站

<?php

namespace app\controller;

use Facebook\WebDriver\Remote\DesiredCapabilities;
use Facebook\WebDriver\Remote\RemoteWebDriver;
use QL\QueryList;
use think\facade\Db;

class Index
{
    public function index()
    {
        $arr = range(1, 19998);
        $d = Db::query("SELECT * FROM `dz`");
        $data = array_column($d, 'dz');

        // 去除 $arr 与 $data 中重复的数据
        $arr = array_diff($arr, $data);

        foreach ($arr as $value) {
            // 使用 WebDriver 访问指定 URL
            $url = "https://ht30j.vip:9527/vod/details/$value";
            $driver = RemoteWebDriver::create('http://localhost:9515', DesiredCapabilities::chrome());
            $driver->get($url);

            // 获取页面源代码
            $html = $driver->getPageSource();

            // 使用 QueryList 解析匹配 <h1> 标签内的文本
            $bt = QueryList::html($html)->find('h1')->text();

            // 使用 QueryList 解析匹配人气标签
            $人气 = QueryList::html($html)->find('div.vod-header-label')->texts()->all();

            // 只保留“人氣:”后面的部分
            try {
                $rq = str_replace('人氣:', '', $人气[0]);
            } catch (\Exception $e) {
                goto end;
            }

            // 使用 QueryList 解析匹配下载链接
            $dz = QueryList::html($html)->find('a.btn-normal')->attrs('href')->all()[1];

            // 插入数据库
            try {
                end:
                Db::query("INSERT INTO `dz` (`id`, `dz`) VALUES (NULL, '$value')");
            } catch (\Exception $e) {
            }

            try {
                Db::query("INSERT INTO `hp` (`id`, `spbt`, `spdz`, `spbfl`) VALUES (NULL, '$bt', '$dz', '$rq')");
            } catch (\Exception $e) {
                // 如果有重复的数据
            }

            // 关闭浏览器
            $driver->quit();
        }
    }
}

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

php老师傅收徒

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值