php采集模拟伪造随机UA访问

最新推荐文章于 2021-04-01 21:22:01 发布

ssdwuya

最新推荐文章于 2021-04-01 21:22:01 发布

阅读量1.5k

点赞数

分类专栏： PHP

本文链接：https://blog.csdn.net/ssdwuya/article/details/108685156

版权

本文介绍如何使用PHP进行网页数据采集，并通过模拟伪造随机User-Agent，避免被目标网站识别为爬虫。内容包括PHP的基础爬虫实现、User-Agent的生成策略及其在爬虫中的应用。

摘要由CSDN通过智能技术生成

        $ua = getua();
        $uaRandNum = rand(0,(count($ua['pc'])-1));
        

        $header = [
            'timeout' => 10,
            'verify' => false,
            'proxy'  => '',
            'headers' => [
                'User-Agent' => $ua[pc][$uaRandNum],
                'Referer' => '',
                'Accept-Encoding' => 'gzip, deflate, br',
                'Cookie' => '',
                'Accept-Language' => 'zh-CN,zh;q=0.8,zh-TW;q=0.7,zh-HK;q=0.5,en-US;q=0.3,en;q=0.2',
                'Connection' => 'keep-alive',
                'Host' => '',
                'Origin' => ''
            ]
        ];