PHP获取页面中图片并下载保存

最新推荐文章于 2023-08-17 16:50:41 发布
置顶 最新推荐文章于 2023-08-17 16:50:41 发布
阅读量1.5k 收藏 1
点赞数 1
分类专栏： PHP 文章标签： PHP获取页面数据 远程抓取页面数据 PHP下载保存图片 PHP远程抓取图片 PHP
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/snow_love_xia/article/details/100161661
版权

啦啦啦，本周工作日的最后一天，我来冒个泡

预备
要了解CURL的使用：参考一：我自己总结的curl的使用；
参考二：CURL手册；
参考三：匹配查找

一、背景，原因
今天其实没有特别的事情，突然想起来前端时间朋友的网店，因为供应商不给提供图片数据包，只能一张一张的保存，然后上传，我就觉着我试试获取网站的图片吧（支持获取https协议网站）；

二、漫漫请求路
这个实现就是获取网站的信息，那么首先映入脑海的万能的CURL方法，不了解的可以点击去学习一下。这里很重要，只有抓取到页面数据你才能获取到想要的东西并保存下来；

首先，获取页面数据：
这个封装的方法也是支持抓取http、https两种协议的网站页面信息

public function is_request($url, $ssl = true, $type = "GET", $data = null)
    {
        $curl = curl_init();

        curl_setopt($curl, CURLOPT_URL, $url);
        $user_agent = isset($_SERVER["HTTP_USERAGENT"]) ?
            $_SERVER['HTTP_USERAGENT'] :
            'Mozilla / 5.0 (Windows NT 6.1; WOW64) AppleWebKit / 537.36 (KHTML, like Gecko) Chrome / 50.0.2661.102 Safari / 537.36';
            curl_setopt($curl, CURLOPT_USERAGENT, $user_agent);//请求代理信息
            curl_setopt($curl, CURLOPT_AUTOREFERER, true);//referer头 请求来源
            curl_setopt($curl, CURLOPT_TIMEOUT, 30);//请求超时
            curl_setopt($curl, CURLOPT_HEADER, false);//是否处理响应头
            curl_setopt($curl, CURLOPT_RETURNTRANSFER, true);//curl_exec()是否返回响应
            curl_setopt($curl, CURLOPT_FOLLOWLOCATION, 1);

        if ($ssl) {
            curl_setopt($curl, CURLOPT_SSL_VERIFYPEER, false);//禁用后curl将终止从服务端进行验证
            curl_setopt($curl, CURLOPT_SSL_VERIFYHOST, false);//检查服务器ssl证书中是否存在一个公用名（common name）

        }
        if ($type == 'POST') {
            curl_setopt($curl, CURLOPT_POST, true);
            curl_setopt($curl, CURLOPT_POSTFIELDS, $data);
        }

        //发出请求
        $response = curl_exec($curl);
        if ($response === false) {
            return false;
        }
        return $response;
    }

其次，就是通过正则匹配，获取页面中所有的满足你条件的字符串组：

		$img_pattern = "|<img[^>]+src=['\" ]?([^ '\"?]+)['\" >]|U";
        preg_match_all($img_pattern, $content, $img_out, PREG_SET_ORDER);

最后喽，你都获取到了页面中所有的img标签，那就可以循环保存在自己指定的文件中喽：

/**
     * 保存单个图片的方法
     *
     * @param String $capture_url   用于抓取图片的网页地址
     * @param String $img_url       需要保存的图片的url
     *
     */
    public function save_one_img($capture_url,$img_url)
    {
        //图片路径地址
//        if ( strpos($img_url, 'http://')!==false )
//        {
//            // $img_url = $img_url;
//        }else
//        {
//            $domain_url = substr($capture_url, 0,strpos($capture_url, '/',8)+1);
//            $img_url=$domain_url.$img_url;
//        }
        $pathinfo = pathinfo($img_url);    //获取图片路径信息
        $pic_name=$pathinfo['basename'];   //获取图片的名字
        if (file_exists($this->save_path.$pic_name))  //如果图片存在,证明已经被抓取过,退出函数
        {
            echo $img_url . '<span style="color:red;margin-left:80px">该图片已经抓取过!</span><br/>';
            return;
        }
        //将图片内容读入一个字符串
//        dd($img_url);
//        info($img_url);
        $img_data = @file_get_contents($img_url);   //屏蔽掉因为图片地址无法读取导致的warning错误

        if ( strlen($img_data) > $this->img_size )   //下载size比限制大的图片
        {
            $img_size = file_put_contents($this->save_path . $pic_name, $img_data);
            if ($img_size)
            {
                echo $img_url . '<span style="color:green;margin-left:80px">图片保存成功!</span><br/>';
            } else
            {
                echo $img_url . '<span style="color:red;margin-left:80px">图片保存失败!</span><br/>';
            }
        } else
        {
            echo $img_url . '<span style="color:red;margin-left:80px">图片读取失败!</span><br/>';
        }
    }

当然，为了避免重复下载，我判断了是否已经下载过，下面的完整的项目代码：BaseService主要是为了引入is_request（）

三、重中之重，完整的代码

class GetImgController extends Controller
{
    public $save_path;                  //抓取图片的保存地址

    //抓取图片的大小限制(单位:字节) 只抓比size比这个限制大的图片
    public $img_size=0;

    //定义一个静态数组,用于记录曾经抓取过的的超链接地址,避免重复抓取
    public static $a_url_arr=array();
    protected $baseService ;

    /**
     * @param BaseService $baseService
     */
    public function __construct(BaseService $baseService)
    {
        $this->save_path=public_path().'/uploadfile/curl_img/chumaoqi/lunbo/';
        $this->img_size=0;
        $this->baseService = $baseService;
    }


    /**
     * 递归下载抓取首页及其子页面图片的方法  ( recursive 递归)
     *
     * @param Request $request
     *
     */
    public function recursive_download_images(Request $request)
    {
        $capture_url = $request->input('url');
        if (!in_array($capture_url,self::$a_url_arr))   //没抓取过
        {
            self::$a_url_arr[]=$capture_url;   //计入静态数组
        } else   //抓取过,直接退出函数
        {
            return;
        }

        $this->download_current_page_images($capture_url);  //下载当前页面的所有图片

        //用@屏蔽掉因为抓取地址无法读取导致的warning错误
        $content=@file_get_contents($capture_url);

        //匹配a标签href属性中?之前部分的正则
        $a_pattern = "|<a[^>]+href=['\" ]?([^ '\"?]+)['\" >]|U";
        preg_match_all($a_pattern, $content, $a_out, PREG_SET_ORDER);

        $tmp_arr=array();  //定义一个数组,用于存放当前循环下抓取图片的超链接地址
        foreach ($a_out as $k => $v)
        {
            /**
             * 去除超链接中的 空'','#','/'和重复值
             * 1: 超链接地址的值 不能等于当前抓取页面的url, 否则会陷入死循环
             * 2: 超链接为''或'#','/'也是本页面,这样也会陷入死循环,
             * 3: 有时一个超连接地址在一个网页中会重复出现多次,如果不去除,会对一个子页面进行重复下载)
             */
            if ( $v[1] && !in_array($v[1],self::$a_url_arr) &&!in_array($v[1],array('#','/',$capture_url) ) )
            {
                $tmp_arr[]=$v[1];
            }
        }

        foreach ($tmp_arr as $k => $v)
        {
            //超链接路径地址
            if ( strpos($v, 'http://')!==false ) //如果url包含http://,可以直接访问
            {
                $a_url = $v;
            }else   //否则证明是相对地址, 需要重新拼凑超链接的访问地址
            {
                $domain_url = substr($capture_url, 0,strpos($capture_url, '/',8)+1);
                $a_url=$domain_url.$v;
            }

            $this->recursive_download_images($a_url);

        }

    }


    /**
     * 下载当前网页下的所有图片
     *
     * @param   String  $capture_url  用于抓取图片的网页地址
     * @return  Array   当前网页上所有图片img标签url地址的一个数组
     */
    public function download_current_page_images($capture_url)
    {
//        $capture_url = $request->input('url');

        $content = $this->baseService->is_request($capture_url);

        //匹配img标签src属性中?之前部分的正则
        $img_pattern = "|<img[^>]+src=['\" ]?([^ '\"?]+)['\" >]|U";
        preg_match_all($img_pattern, $content, $img_out, PREG_SET_ORDER);

        $photo_num = count($img_out);
        //匹配到的图片数量
        echo '<h1>'.$capture_url . "共找到 " . $photo_num . " 张图片</h1>";
        foreach ($img_out as $k => $v)
        {
            $this->save_one_img($capture_url,$v[1]);
        }
    }


    /**
     * 保存单个图片的方法
     *
     * @param String $capture_url   用于抓取图片的网页地址
     * @param String $img_url       需要保存的图片的url
     *
     */
    public function save_one_img($capture_url,$img_url)
    {
        //图片路径地址
//        if ( strpos($img_url, 'http://')!==false )
//        {
//            // $img_url = $img_url;
//        }else
//        {
//            $domain_url = substr($capture_url, 0,strpos($capture_url, '/',8)+1);
//            $img_url=$domain_url.$img_url;
//        }
        $pathinfo = pathinfo($img_url);    //获取图片路径信息
        $pic_name=$pathinfo['basename'];   //获取图片的名字
        if (file_exists($this->save_path.$pic_name))  //如果图片存在,证明已经被抓取过,退出函数
        {
            echo $img_url . '<span style="color:red;margin-left:80px">该图片已经抓取过!</span><br/>';
            return;
        }
        //将图片内容读入一个字符串
//        dd($img_url);
//        info($img_url);
        $img_data = @file_get_contents($img_url);   //屏蔽掉因为图片地址无法读取导致的warning错误

        if ( strlen($img_data) > $this->img_size )   //下载size比限制大的图片
        {
            $img_size = file_put_contents($this->save_path . $pic_name, $img_data);
            if ($img_size)
            {
                echo $img_url . '<span style="color:green;margin-left:80px">图片保存成功!</span><br/>';
            } else
            {
                echo $img_url . '<span style="color:red;margin-left:80px">图片保存失败!</span><br/>';
            }
        } else
        {
            echo $img_url . '<span style="color:red;margin-left:80px">图片读取失败!</span><br/>';
        }
    }
}

其中recursive_download_images（）是递归下载指定页面以及子页面下的图片，download_current_page_images（）只是下载指定地址页面的图片，你可以稍作调整，从而满足你的需求。

四、写在最后
网络有很多这种curl请求获取页面数据的，大家都可以参考

ignativs amor
关注
专栏目录
php获取图片并保存到数据库中,把图片保存到数据库中和从数据库中读取图片
weixin_35042546的博客
03-28 1559
最近做到一个小项目，其中关系到图片的一些操作。比如：将图片保存到数据库中、从数据库中读取图片、显示图片、打印图片等。此处对这些在项目中遇到的一些琐碎知识加以总结，以便日后查找。 1、将图片作为其中的一个参数保存到数据库中 在项目中，一般是将图最近做到一个小项目，其中关系到图片的一些操作。比如：将图片保存到数据库中、从数据库中读取图片、显示图片、打印图片等。此处对这些在项目中遇到的一些琐碎知识加以总...
php获取CSS文件中图片地址并下载到本地的方法
10-25
在描述中，提到这个方法是实用的技巧，适用于抓取网站上CSS文件中图片并下载到本地的功能。这说明该方法对于进行网页维护、镜像网站内容或数据备份等场景都非常有用。 标签"php 获取 CSS 文件 图片地址 下载 本地...
PHP 下载图片
10-06
本资源不能用于商业用途，只是计算机专业的一个作业，欢迎大家使用
php 图片保存到本地_php将远程图片下载保存到本地
weixin_35993844的博客
03-09 269
将远程服务器的图片下载到本地/**功能：php完美实现下载远程图片保存到本地*参数：文件url,保存文件目录,保存文件名称，使用的下载方式*当保存文件名称为空时则使用远程文件原来的名称*/function getImage($url,$save_dir='',$filename='',$type=0){if(trim($url)==''){return array('file_name'=>...
php 图片保存到本地_PHP下载远程图片并保存到本地方法总结
weixin_39613839的博客
03-09 884
1.获取远程文件大小及信息的函数function getFileSize($url){$url = parse_url($url);if($fp = @fsockopen($url['host'],empty($url['port'])?80:$url['port'],$error)){fputs($fp,"GET ".(empty($url['path'])?'/':$url['path'])....
PHP 获取一篇文章内容中的全部图片，并下载
weixin_30535565的博客
01-18 355
做个记录，在工作or面试中有可能会遇到function downImagesFromTargetUrl($url, $target_dir = null) { if(!filter_var($url, FILTER_VALIDATE_URL)){ return false; } if(!$target_dir) { $target_...
PHP下载网页图片
北极光的博客
12-11 1008
/**      * 下载远程图片      * @param string $url 图片的绝对url      * @param string $filepath 文件的完整路径（包括目录，不包括后缀名,例如/www/images/test） ，此函数会自动根据图片url和http头信息确定图片的后缀名      * @return mixed 下载成功返回一个描述图片
分享PHP源码批量抓取远程网页图片并保存到本地的实现方法
10-23
在本文中，我们将探讨如何使用PHP来批量抓取远程网页上的图片并将其保存到本地。这个功能对于网站复制、数据抓取或者分析工作非常有用，尤其是当你需要获取一个网站的所有图片资源时。以下是一个简单的PHP脚本，它...
用php实现的获取网页中的图片并保存到本地的代码
10-29
此函数负责下载图片并保存到本地。 - 参数 `$url`：待下载的图片URL。 - 参数 `$filename`：保存在本地时使用的文件名，默认为空，则自动根据时间戳生成。 - 检查指定路径是否存在，若不存在，则创建该路径。 - 如果...
php如何实现图片点击下载，并保存本地？-----本例子为二维码的生成图片，并支持点击下载...
weixin_34166472的博客
05-13 449
### 　　今天因为工作需要，完成了一个二维码的生成图片，并支持点击下载的 ### 控制器文件，相关代码 1 // 生成二维码 2 $url = action('Apih5\\VersionController@download', ['provider' => $request->channel]); 3 // 保存二维码到本地，并...
getimage.php
05-13
可以自定义下载路径 ，传入图片链接自动下载该图片的方法类
php实现下载保存图片,PHP实现下载远程图片保存到本地的方法
weixin_39901213的博客
04-02 307
[导读]本篇文章主要介绍了PHP实现下载远程图片的方法在使用 PHP 做简单的爬虫的时候，我们经常会遇到需要下载远程图片的需求，所以下面来简单实现这个需求。1.使用 curl比如我们有下面这两张图片：$images=['https://dn-laravist.qbox.me/2015-09-22_00-17-06j.png','https://dn-laravist.qbox.me/2015-...
php获取远程图片并下载保存到本地
技术与人际，两手都要硬
05-16 413
[code="php"] /* *功能：php完美实现下载远程图片保存到本地 *参数：文件url,保存文件目录,保存文件名称，使用的下载方式 *当保存文件名称为空时则使用远程文件原来的名称 */ function getImage($url,$save_dir='',$filename='',$type=0){ if(trim($url)==''){ return ar...
PHP 下载网络图片并保存到指定目录
weixin_44936767的博客
08-17 643
【代码】PHP 下载网络图片并保存到指定目录。
php点击保存图片,php保存图片
weixin_39644611的博客
04-01 235
我用jpgraph生成画布，输入画布，但是把图片不能保存成功，运行程序也没有错误提示。//用PHP画折线图include("E:/phpser/AppServ/jpgraph/jpgraph/jpgraph.php");include("E:/phpser/AppServ/jpgraph/jpgraph/jpgraph_line.php");$datay=$pm25;$graph = new Gr...
php 如何保存个图片,php下载图片并保存
weixin_39799561的博客
03-17 202
1.file_put_contents,file_get_contents$url = 'http://example.com/image.jpg';$img = '/my/folder/flower.jpg'; //路径加新的文件名，也可以为相对路径file_put_contents($img, file_get_contents($url));备注：all...
php 保存网页图片,PHP 抓取网页图片并且另存为的实现代码
weixin_33760049的博客
03-11 221
这篇文章主要为大家详细介绍了PHP 抓取网页图片并且另存为的实现代码，具有一定的参考价值，可以用来参考一下。感兴趣的小伙伴，下面一起跟随512笔记的小编小韵来看看吧！下面是源代码，及其相关解释代码如下://URL是远程的完整图片地址，不能为空, $filename 是另存为的图片名字//默认把图片放在以此脚本相同的目录里function GrabImage($url, $filename=""){...
PHP下载图片
zhangchb的博客
10-14 724
/** * 图片下载，压缩包形式 */ public function downloadPoster() { //$images格式为 '1.png','2.png' $title = input('title');//图片 $images = explode(',',$title); ...
php 保存网页图片,用php实现的获取网页中的图片并保存到本地的代码_PHP教程
weixin_35133280的博客
03-11 301
复制代码 代码如下:|>)/i',$result,$matches);foreach($matches[1] as $value){echo $value."\n";//GrabImage($value,$filename="");}}// $url 是远程图片的完整URL地址，不能为空。// $filename 是可选变量: 如果为空，本地文件名将基于时间和日期// 自动生成.functi...
h5图片上传并保存到数据库中
最新发布
09-26
在使用H5技术实现图片上传并保存到数据库中，需要以下几个步骤： 1. H5页面布局：创建一个包含文件上传表单的HTML页面，可以使用input元素的type属性设置为"file"，添加一个提交按钮。 2. 后端处理：使用后端语言（如PHP、Java、Python等）搭建服务器，并处理上传的图片文件。在服务器端，接收到前端提交的图片文件后，可以通过文件的表单名称（input元素的name属性）获取到上传的图片文件。 3. 文件处理：对于上传的图片文件，可以通过调用文件系统的API或者使用第三方库对图片进行处理，比如压缩、裁剪、添加水印等操作。处理完成后，可以将图片保存到服务器的指定路径中，并获取到服务器上的图片路径。 4. 数据库操作：使用相应的数据库操作语言（如SQL）连接数据库，并将上传的图片信息保存到数据库中。可以创建一个表格，包含图片的路径、大小、上传时间等相关信息，并将这些信息插入到数据库中的相应字段中。 5. 前端提示：在数据保存成功后，可以通过在HTML页面中添加相应的提示信息，告知用户图片上传成功。 总之，通过以上步骤，可以实现H5图片上传并保存到数据库中的功能。当用户上传图片时，后端将图片保存到服务器的指定路径，并将相关信息插入到数据库中，实现图片的上传和保存。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值