抓取网页并保存静态资源

最新推荐文章于 2024-07-22 16:23:06 发布

UP九万里

最新推荐文章于 2024-07-22 16:23:06 发布

阅读量1.1k

点赞数

分类专栏： PHP 文章标签： php

本文链接：https://blog.csdn.net/jilijo/article/details/106960058

版权

本文介绍如何使用PHP来抓取网页内容，并详细阐述了如何保存网页中的静态资源，如图片、CSS和JavaScript文件，从而实现离线浏览或数据分析的目的。

摘要由CSDN通过智能技术生成

文件名：index.php

<?php
if($_GET['action'] == 'curl'){
   
    /**
     * 抓取指定页面的静态资源
     * @param $url
     * @return bool|string
     */
    function getUrl($url)
    {
   
        $headerArray = array("Content-type:application/json;", "Accept:application/json");
        $ch = curl_init();
        curl_setopt($ch, CURLOPT_URL, $url);
        //curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, FALSE);
        //curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, FALSE);
        curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
        //curl_setopt($ch, CURLOPT_USERAGENT, 'Mozilla/5.0 (iPhone; CPU iPhone OS 13_2_3 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/13.0.3 Mobile/15E148 Safari/604.1');
        //curl_setopt($ch, CURLOPT_HTTPHEADER, $headerArray);
        $output = curl_exec($ch);
    	//echo '错误:',curl_error($ch),$output,PHP_EOL;
        curl_close($ch);
        return $output;
    }
    
    /**
     * 保存文件
     * @param $file
     * @param $content
     */
    function save($file, $content)
    {
   
        if (0 === strpos($file, 'http')) {
   
            echo $file, PHP_EOL;
            return;
        }
        $last = strripos($file, '/');
        $file = substr($file, 1);
        if (!$file)return;
        $dir = substr($file, 0, $last);