PHP爬虫获取网站所有图片，并按网站分类本地保存

最新推荐文章于 2022-03-26 17:05:26 发布
最新推荐文章于 2022-03-26 17:05:26 发布
阅读量354 收藏
点赞数
文章标签： php 爬虫 人工智能
原文链接：https://my.oschina.net/whrlmc/blog/84354
版权

一个朋友需要这个美女图片网站的所有图片，并按网站上的栏目、套图分类下载到本地，于是就有了此脚本，在写此脚本的同时也饱了眼福，虽然说这站的图片质量实在是不怎么样，还都是老图。

目标站：http://tuku.famimi.com/

使用说明：

1.在PATH_DOWNLOAD处定义保存图片的位置

2.之后在页面中输入要抓取栏目的url            

3.提交后会自动开始抓取并按照套图名称分类保存到本地       

4.可断点续下，再次抓取时脚本会自动跳过已下载的文件       

5.下载失败的图片信息会记录到下载文件夹下的error.txt文件里

依赖扩展：curl , iconv         

程序运行截图：

程序打包下载：http://vdisk.weibo.com/s/ggA49

程序源码： 

<?php
header('Content-Type:text/html;charset=utf-8');
date_default_timezone_set('PRC');
if(isset($_POST['submit']) && isset($_POST['url'])){
  //下载图片保存地址，最后要有/
  define('PATH_DOWNLOAD', './download/');
  if(!file_exists(PATH_DOWNLOAD)){
    mkdir(PATH_DOWNLOAD);
  }
  set_time_limit(0);
  ob_end_clean();
  echo str_pad('', 1024); // 设置足够大，受output_buffering影响
  $url = $_POST['url'];
  //验证curl模块
  if(!function_exists('curl_init')){
    echo '<p><font color="red">执行失败!请先安装curl扩展!</font></p>';
    exit();
  }
  //验证url合法性
  if(!preg_match('/^https?:\/\/[a-zA-Z0-9\-\.]+/i', $url)){
    echo '<p><font color="red">执行失败!URL不合法!</font></p>';
    exit();
  }
?>
  <script>
    setInterval(function(){document.body.scrollTop = document.body.scrollHeight;}, 2000);
  </script>
<?php
  //初始化curl
  $curl = curl_init($url);
  //curl超时 30s
  curl_setopt($curl, CURLOPT_TIMEOUT, '30');
  //user-agent头
  curl_setopt($curl, CURLOPT_USERAGENT, "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/534.30 (KHTML, like Gecko) Chrome/12.0.742.122 Safari/534.30");
  //返回文件流
  curl_setopt($curl, CURLOPT_RETURNTRANSFER, TRUE);
  //关闭头文件数据流输出
  curl_setopt($curl, CURLOPT_HEADER, 0);
  //禁止服务端验证
  curl_setopt($curl, CURLOPT_SSL_VERIFYPEER, FALSE);
  //请求栏目url，并转码
  $string = iconv('GBK', 'UTF-8', curl_exec($curl));
  //HTTP 状态码
  $httpStatus = curl_getinfo($curl, CURLINFO_HTTP_CODE);
  //耗时
  $totaltime = curl_getinfo($curl, CURLINFO_TOTAL_TIME);
  //栏目存在就输出栏目名称
  if($httpStatus == 200){
    //获取栏目标题
    preg_match('/<title>(.*?)<\/title>/i' ,$string, $title_result_array);
    echo '<li><font color="green">进入栏目:<font color="black">'. $title_result_array[1] . '</font>(' . $url . ')' .'成功，耗时:'. $totaltime .'s</font></li>';
    flush();
    //建立栏目文件夹，存在的话不用建立
    if(!file_exists(PATH_DOWNLOAD . iconv('UTF-8', 'GBK', $title_result_array[1]))){
      if(@mkdir(PATH_DOWNLOAD . iconv('UTF-8', 'GBK', $title_result_array[1]))){
	echo '<li><font color="green">建立文件夹：<font color="blue"><b> ' . PATH_DOWNLOAD . $title_result_array[1] . '</b></font> 成功</font></li>';
      }else{
	echo '<li><font color="green">建立文件夹：' . PATH_DOWNLOAD . $title_result_array[1] . '失败，请检查权限设置</font></li>';
	exit;
      } 
    }  
  }else{
    echo '<li><font color="red">进入栏目:'. $url .'失败，错误码:'. $httpStatus .'</font></li>';
    exit();
  }
  //获取图片总套数和页数
  if(preg_match('/<a\s+title="Total\srecord">.*?(\d+).*?<\/a>/i', $string, $num_result_array)){
    $totalnum = $num_result_array[1];
    $totalpage = ceil($totalnum / 36);
    echo '<li><font color="black">此栏目共有：<font color="blue"><b> ' . $totalnum . ' </b></font>套图片，共 <font color="blue"><b>' . $totalpage . '</b></font> 页</font></li>';
    flush();
  }else{
    echo '<li><font color="red">获取图片总数和总页数失败，请检查url</font></li>';
    exit();
  }
  //开始逐页抓取图片
  for($i = 1; $i <= $totalpage; $i++){
    if($i == 1){
      $page_string = $string;  
    }else{
      curl_setopt($curl, CURLOPT_URL, $url . 'index_' . $i . '.html');
      $page_string = curl_exec($curl);
    }
    if(!$page_string){
      echo '<li><font color="red">抓取第<font color="blue"><b> ' . $i . ' </b></font>页套图链接失败，将跳过此页</font></li>';
      flush();
      $error_info = fopen(PATH_DOWNLOAD . 'error.txt', 'ab');
      $time_now = date('Y-m-d H:i:s');
      fwrite($error_info, '抓取第 ' . $i . ' 页套图链接失败，时间：' . $time_now . " \r\n");
      fclose($error_info);
      continue;   
    }
    echo '<li><font color="black">进入第<font color="blue"><b> ' . $i . ' </b></font>页，开始抓取套图链接</font></li>';
    flush();
    $link_all_arr = array();
    //找出本页所有套图链接
    preg_match_all('/<ul\s+class="piclist">.*?<\/ul>/is', $page_string, $link_all_arr);
    $link_no_arr = array();
    //去除精品推荐，提取出剩下套图的链接
    preg_match_all('/<p>.*?(http:\/\/[a-zA-Z0-9\-\.\/]+).*?<\/p>/i', $link_all_arr[0][1], $link_no_arr);
    //本页套图链接
    $link_arr = $link_no_arr[1];
    //本页套图数量
    $link_num = count($link_arr);
    //抓取成功进入每个套图中分别下载图片
    if($link_num > 0){
      echo '<li><font color="green">抓取第<font color="blue"><b> ' . $i . ' </b></font>页套图链接成功，共抓取到<font color="blue"><b> ' . $link_num . ' </b></font>条链接，现在开始进入第<font color="blue"><b> ' . $i . ' </b></font>页进行抓取套图</font></li>';
      flush();
      //循环访问每个套图链接
      //循环次数
      $for_num = 0;
      foreach($link_arr as $value){
	curl_setopt($curl, CURLOPT_URL, $value);
	//获取套图的内容
	$image_all_string = iconv('GBK', 'UTF-8', curl_exec($curl));
	//如果获取失败，则跳过此套图
	if(!$image_all_string){
	  echo '<li><font color="red">抓取套图<font color="blue"><b> ' . $value . ' </b></font>失败，将跳过此套图</font></li>';
	  flush();
	  $error_info = fopen(PATH_DOWNLOAD . 'error.txt', 'ab');
	  $time_now = date('Y-m-d H:i:s');
	  fwrite($error_info, '抓取第 ' . $i . ' 页套图中的' . $value . '失败，时间：' . $time_now . " \r\n");
	  fclose($error_info);
	  continue;
	}
	$for_num++;
	//请求成功则获取请求时间
	$time_out = curl_getinfo($curl, CURLINFO_TOTAL_TIME);
	//套图标题
	preg_match('/<title>(.*?)<\/title>/i', $image_all_string, $title_arr);
	//图片总数
	preg_match('/<div\s+class="pictitle">.*?<p>.*?<i>\d+<\/i>.*?<i>(\d+)<\/i>.*?<\/p><\/div>/is', $image_all_string, $pic_num_arr);
	echo '<li><font color="green">获取套图： <font color="blue"><b>' . $title_arr[1] . ' </b></font>(<a href="' . $value . '" target="_blank">' . $value . '</a>)成功，此套图共： <font color="blue"><b>' . $pic_num_arr[1] . ' </b></font>张图片，耗时：' . $time_out . 's</font></li>';
	flush();
	//建立套图文件夹，如果不存在的话
	if(!file_exists(PATH_DOWNLOAD . iconv('UTF-8', 'GBK', $title_result_array[1]) . '/' . $for_num . iconv('UTF-8', 'GBK', $title_arr[1]))){
	  if(mkdir(PATH_DOWNLOAD . iconv('UTF-8', 'GBK', $title_result_array[1]) . '/' . $for_num . iconv('UTF-8', 'GBK', $title_arr[1]))){
	    echo '<li><font color="green">建立文件夹：<font color="blue"><b> ' . PATH_DOWNLOAD . $title_result_array[1] . '/' . $for_num . $title_arr[1] . '</b></font> 成功</font></li>';
	    flush();
	  }else{
	    echo '<li><font color="red">建立文件夹：' . PATH_DOWNLOAD . $title_result_array[1] . '/' . $title_arr[1] . $for_num . '失败，请检查无权限，将跳过此套图</font></li>';
	    flush();
	    $error_info = fopen(PATH_DOWNLOAD . 'error.txt', 'ab');
	    $time_now = date('Y-m-d H:i:s');
	    fwrite($error_info, '建立第 ' . $i . ' 页套图中的' . $value . '的文件夹失败，时间：' . $time_now . " \r\n");
	    fclose($error_info);
	    continue;
	  }
	}	
	//循环抓取套图的每张图片
	for($i = 1; $i <= $pic_num_arr[1]; $i++){
	  if($i == 1){
	    $a_image_string = $image_all_string;
	  }else{
	    $a_image_link = rtrim($value, '.html') . '_' . $i . '.html';
	    curl_setopt($curl, CURLOPT_URL, $a_image_link);
	    $a_image_string = iconv('GBK', 'UTF-8', curl_exec($curl));
	  }
	  if(!$a_image_string){
	    echo '<li><font color="red">抓取套图的第<font color="blue"><b> ' . $i . ' </b></font>张图片失败，将跳过此张图片</font></li>';
	    flush();
	    $error_info = fopen(PATH_DOWNLOAD . 'error.txt', 'a');
	    $time_now = date('Y-m-d H:i:s');
	    fwrite($error_info, "抓取 {$title_arr[1]} 套图中的第 {$i} 张图片失败，时间：{$time_now}\r\n");
	    fclose($error_info);
	    continue;
	  }
	  echo '<li><font color="black">进入此套图的第<font color="blue"><b> ' . $i . ' </b></font>张图片页面成功，开始下载第<font color="blue"><b> ' . $i . ' </b></font>张图片...</font></li>';
	  flush();
	  //抓取图片地址
	  preg_match('/<div\s+class="bigpic">.*?src="(.*?)".*?<\/div>/i', $a_image_string, $pic_link);
	  //提取图片文件后缀
	  $pic_suffix_arr = explode('.', $pic_link[1]);
	  $pic_suffix = $pic_suffix_arr[count($pic_suffix_arr) - 1];
	  //如果此图片存在，则不再获取
	  if(file_exists(PATH_DOWNLOAD . iconv('UTF-8', 'GBK', $title_result_array[1]) . '/' . $for_num . iconv('UTF-8', 'GBK', $title_arr[1]) . '/' . iconv('UTF-8', 'GBK', $title_arr[1]) . '_' . $i . '.' . $pic_suffix)){
	    echo '<li><font color="red">第<font color="blue"><b> ' . $i . ' </b></font>张图片已存在，将跳过此张图片</font></li>';
	    flush();
	    $error_info = fopen(PATH_DOWNLOAD . 'error.txt', 'ab');
	    $time_now = date('Y-m-d H:i:s');
	    fwrite($error_info, '抓取 ' . $title_arr[1] . ' 套图中的第' . $i . '张失败，此图片已存在，时间：' . $time_now . " \r\n");
	    fclose($error_info);
	    continue;
	  }
	  curl_setopt($curl, CURLOPT_URL, 'http://tuku.famimi.com' . $pic_link[1]);
	  $image_re = curl_exec($curl); 
	  if(!$image_re){
	    echo '<li><font color="red">下载图片失败，图片地址：http://tuku.famimi.com' . $pic_link[1] . '将跳过此图片</font></li>';
	    flush();
	    $error_info = fopen(PATH_DOWNLOAD . 'error.txt', 'ab');
	    $time_now = date('Y-m-d H:i:s');
	    fwrite($error_info, '下载 ' . $title_arr[1] . ' 套图中的第' . $i . '失败，时间：' . $time_now . ' \n');
	    fclose($error_info);
	    continue;
	  }else{
	    //将图片写入本地文件
	    $picfile = fopen(PATH_DOWNLOAD . iconv('UTF-8', 'GBK', $title_result_array[1]) . '/' . $for_num . iconv('UTF-8', 'GBK', $title_arr[1]) . '/' . iconv('UTF-8', 'GBK', $title_arr[1]) . '_' . $i . '.' . $pic_suffix, 'wb');
	    if(!fwrite($picfile, $image_re)){
	      echo '<li><font color="red">保存图片失败，将跳过此图片</font></li>';
	      flush();
	      $error_info = fopen(PATH_DOWNLOAD . 'error.txt', 'ab');
	      $time_now = date('Y-m-d H:i:s');
	      fwrite($error_info, '保存 ' . $title_arr[1] . ' 套图中的第' . $i . '失败，时间：' . $time_now . " \r\n");
	      fclose($error_info);
	      continue;
	    }
	    fclose($picfile);
	    echo '<li><font color="green">保存第<font color="blue"><b> ' . $i . ' </b></font>张图片成功</font></li>';
	    flush();
	  }
	}
      }
    //抓取失败则跳过此页
    }else{
      echo '<li><font color="red">抓取第<font color="blue"><b> ' . $i . ' </b></font>页套图链接失败，将跳过此页</font></li>';
      flush();
      $error_info = fopen(PATH_DOWNLOAD . 'error.txt', 'ab');
      $time_now = date('Y-m-d H:i:s');
      fwrite($error_info, '抓取第 ' . $i . ' 页套图链接失败，将跳过此页，时间：' . $time_now . " \r\n");
      fclose($error_info);
      continue;
    }    
  }
  curl_close($curl);
}
?>

<html>
<head>
</head>
<body>
<h4>请输入栏目url</h4>
<h4><font color="blue">目标站：http://tuku.famimi.com/</font></h4>
<form method="post">
<input type="text" name="url" size="40" /> <input type="submit" name="submit" value="开抓" />
</form>
</body>
</html>

欢迎讨论交流 :)

转载于:https://my.oschina.net/whrlmc/blog/84354

weixin_34184158
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
php采集文章中的图片获取替换到本地(实现代码)
12-18
该函数的主要目标是查找文章中的所有`<img>`标签，并将它们的`src`属性中的图片URL替换为本地保存后的图片路径。 1. **路径设置**： - 函数首先根据当前日期创建一个分类目录，确保所有图片按日期归档，这样可以...
php 抓取图片------爬虫
12-30
6. **存储管理**：保存图片，并可能进行重命名、分类等操作。 7. **递归或循环**：如果需要，可以继续爬取链接到的其他页面。 PHP实现图片爬虫的关键技术包括： - **HTTP客户端**：PHP的cURL库提供了丰富的功能，...
PHP爬虫抓取网络图片
龙哥
12-16 600
<?php namespace App\Console\Commands; use Goutte\Client; use Illuminate\Console\Command; use Illuminate\Support\Facades\DB; /** * Class SyncSpiderData * @author <fl140125@gmail.com> * @package App\Console\Commands */ class SyncSpiderData e.
PHP 下载远程图片
weixin_34417200的博客
06-17 116
原文：https://www.codecasts.com/blo... 在使用 PHP 做简单的爬虫的时候，我们经常会遇到需要下载远程图片的需求，所以下面来简单实现这个需求。 1.使用 curl 比如我们有下面这两张图片： $images = [ 'https://dn-laravist.qbox.me/2015-09-22_00...
爬虫（三）——获取网页图片并保存在本地
aspirinLi的博客
02-27 1240
以京东商城的商品图片为例，涉及的知识点有： 1.正则匹配获取图片地址 2.修正图片地址格式 3.用request.get(url)获取图片链接，并通过os操作保存到本地。 代码如下： import requests import re url = 'https://channel.jd.com/1713-3258.html' res = requests.get(url) res.e...
爬虫学习——爬取网站图片并保存到本地
Alexa_的博客
01-22 3881
爬虫学习——爬取网站图片并保存到本地 爬取步骤： 1，模拟浏览器发出请求 2，根绝返回判断网页有无响应 3，解析网页 4，路径下创建文件夹并保存图片
PHP 爬取图片 保存本地
weixin_33701564的博客
06-07 318
public function getImage($url,$filename='') { if($url == ''){ return false; } if($filename == ''){ $ext = pathinfo($url); ...
基于PHP的乱搜图片爬虫采集.zip
最新发布
08-13
5. **文件下载**：使用PHP的file_get_contents函数或cURL库下载图片，并保存到本地。 6. **异常处理和错误控制**：防止网络问题、服务器错误等导致的程序中断，设置合理的重试机制。 7. **多线程/异步处理**：提高...
将网页上的图片保存在本地
03-22
在IT领域，尤其是在数据采集和自动化处理中，抓取网页上的图片并将其保存到本地是一项常见的任务。这个过程涉及到网络请求、HTML解析以及文件操作等多个技术环节。以下将详细讲解如何实现这一目标，并涵盖相关知识点...
PHP实例开发源码—乱搜图片爬虫采集.zip
11-23
5. **文件操作**：爬虫采集的图片需要保存在本地，因此开发者需要掌握PHP的文件系统操作，如file_put_contents()函数用于写入文件，mkdir()用于创建目录，以及文件路径处理等。 6. **异步处理**：为了提高爬虫效率...
php 图片保存到本地_PHP实现下载远程图片保存到本地的方法
weixin_36137385的博客
03-09 538
在使用 PHP 做简单的爬虫的时候，我们经常会遇到需要下载远程图片的需求，所以下面来简单实现这个需求。1.使用 curl比如我们有下面这两张图片：$images = ['https://dn-laravist.qbox.me/2015-09-22_00-17-06j.png','https://dn-laravist.qbox.me/2015-09-23_00-58-03j.png'];第一步，我...
PHP获取网络图片保存到本地
weixin_42136237的博客
11-01 771
PHP获取网络图片保存到本地 if(@fopen($dg_image, 'r' ))//php判断图片是不是网络图片 { $filename = "upload/goods_image"."/".$g_id.'.jpg'; if (file_exists($filename)) { $dg_image = "/upload/goods_image"."/".$g_id.'.jpg';
PHP爬取页面图片，并保存为压缩包
不会代码的小林
11-10 344
一.用QueryList爬虫框架，先爬下所有图片，并保存到指定目录。代码如下： $url="http://xxx.com"；//示例域名 //采集某页面所有的图片，find找到页面所有的img标签，获取src属性。 $data = QueryList::get($url)->find('img')->attrs('src'); //$result返回的是一个数组，包含了所有的图片路径 $result=$data->all(); //调用图片打包方法，并返回下载链接。 echo pac
PHP远程下载图片保存到本地的方法
乡村的博客
11-21 601
本篇文章主要介绍了PHP远程下载图片保存到本地的方法，现在分享给大家，给大家做个参考。 在使用 PHP 做简单的爬虫的时候，我们经常会遇到需要下载远程图片的需求，所以下面来简单实现这个需求。 1.使用 curl 比如我们有下面这两张图片： $images = [ 'https://dn-laravist.qbox.me/2015-09-22_00-17-06j.png', 'https://dn-laravist.qbox.me/2015-09-23_00-58-03j.png' ]; 第一步，我们可以直
PHP 获取网络图片资源并保存
荒的博客
10-11 1263
/** * TODO PHP 从网络上获取图片 并保存 * @param $imgFromUrl 图片的网络路径，支持本地。但是图片限制盗链的可能不行 * 本地举例：'Public/images/from.png' * 网络图片示例：'https://timgsa.baidu.com/timg?image&quality=80&size=b9999_10000&sec=1538199326261&a.
php 生成图片并压缩保存到本地或者输出到网页imagejpeg方法
三丰的博客
03-26 2375
前言：在之前自己有过一篇使用php,根据输入的文字自动生成图片,并把文字在图片上展示出来_繁华pk落幕的博客-CSDN博客_php根据文字生成图片https://blog.csdn.net/u014401637/article/details/123149041 的文章，在实际使用过程中发现因为网页数的增多，生成的图片比较大如果访问数比较多、频繁的话，会对服务器造成一定的压力，想着php中应该有压缩的方法，所以又重新百度了一下相关资料，本文也是对本次用到的函数做一个记录。 imagejpeg方法 这.
php抓取图片保留本地,使用原生php爬取图片并保存到本地
weixin_31526891的博客
03-10 172
通过一个简单的例子复习一下几个php函数的用法用到的函数或知识点curl 发送网络请求preg_match 正则匹配代码$url = 'http://desk.zol.com.cn/bizhi/7386_91671_2.html';$headers = ['user-agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_2) AppleWe...
php 抓取页面图片,PHP抓取网页图片的实例
weixin_42378973的博客
03-10 226
PHP抓取网页图片的实例/***抓取网站上的图片到本地*PS:如果网页中的图片路径不是绝对路径，就无法抓取*/set_time_limit(0);//抓取不受时间限制$URL='http://image.baidu.com/';//任意网址get_pic($URL);functionget_pic($pic_url){//获取图片二进制流$data=CurlGet($pic_url);/...
jsoup php网站,jsoup怎么把爬取网站的图片保存到本地
weixin_39640085的博客
03-27 196
这次给大家带来jsoup怎么把爬取网站的图片保存到本地，jsoup把爬取网站的图片保存到本地的注意事项有哪些，下面就是实战案例，一起来看一下。因为项目需求，需要车辆品牌信息和车系信息，昨天用一天时间研究了jsoup爬取网站信息。项目是用maven+spring+springmvc+mybatis写的。jsoup开发指南地址这个是需要爬取网站的地址 https://car.autohome.com....
写一个php爬虫爬王者荣耀官网的英雄皮肤图片
05-16
以下是一个简单的 PHP 爬虫代码，可以爬取王者荣耀官网上所有英雄的皮肤图片: ```php <?php // 设置爬虫的起始链接 $url = 'https://pvp.qq.com/web201605/herolist.shtml'; // 获取起始链接的 HTML 内容 $...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值