php网页采集 测试版

最新推荐文章于 2021-03-26 21:31:59 发布
最新推荐文章于 2021-03-26 21:31:59 发布
阅读量1.2k 收藏
点赞数
分类专栏： php 文章标签： http协议 网页采集 php程序 分页采集
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Free_Program_1314/article/details/41778719
版权 
<?php
header("content-type: text/html; charset=utf-8");
class HttpWrap
{


    public $timeout=3;
    public $status='';



    public $host;
    public $port=80;
    private $conn;
    private $path;
    private $url;

    public $http_method='GET';
    public $http_version="HTTP/1.1";
    public $agent="Mozilla/5.0 (Windows NT 6.1; rv:33.0) Gecko/20100101 Firefox/33.0";
    public $accept="image/gif, image/x-xbitmap, image/jpeg, image/pjpeg, */*";
    public $gzip="gzip";
    public $referer;
    public $cookie;
    public $submit_type="application/x-www-form-urlencoded";
    private $accept_language="zh-cn,zh;q=0.8,en-us;q=0.5,en;q=0.3";
    public $connection="keep-alive";


    private $cmd_line;
    private $header;
    public $post_content;

    private $redirect;
    private $is_gzip;

    public $response_num;
    public $response_header;
    public $response_body_length=0;
    public $response_body;

    public $roll_link;

   public  function init($url)
    {
        $this->url=$url;
        $url_pair = parse_url($url);
        $this->host = $url_pair['host'];
        $this->path = $url_pair['path'];

        if(!empty($url_pair['port']))
        {
            $this->port = $url_pair['port'];
        }
        $this->connect();
       // echo $this->status; exit();
        $this->sendRequest();
        //如果响应头部存在重定向，则对重定向发送请求
        if($this->redirect)
        {
            if(preg_match("#^http://".preg_quote($this->host)."#i",$this->redirect))
            {
                $this->referer=$this->host."/".parse_url($this->redirect)['path'];
                $this->init($this->redirect);
            }
        }
        if($this->roll_link)
        {
            $next_url = substr($this->url,0,strripos($this->url, '/')+1).$this->roll_link;
            if(strtolower(trim($this->url)) == strtolower(trim($next_url))) die("本页截取完毕<br />");
            echo str_repeat("  ", 2048);
            echo "对链接".$next_url."发起请求<br />";
            sleep(1);
            $this->init($next_url);
        }

    }

   private function connect()
   {
       $this->conn = fsockopen($this->host,$this->port,$errno,$errstr,$this->timeout);
       if($this->conn)
       {
           $this->status = '链接成功';
           return true;
       }
       else
       {
            switch($errno)
            {
                case -3:
                        $this->status="创建socket链接失败";
                case -4:
                        $this->status="dns查询失败";
                case -5:
                        $this->status="链接被拒绝或超时";
                default:
                        $this->status="创建连接失败";
            }
            return false;
       }
   }
   private function sendRequest()
   {
       if(empty($this->path))
       {
           $this->path="/";
       }
       $this->cmd_line=$this->http_method." ".$this->path." ".$this->http_version."\r\n";

       if(!empty($this->host))
       {
           $this->header .= "Host: ".$this->host."\r\n";
       }

       if(!empty($this->agent))
       {
           $this->header .="User-Agent: ".$this->agent."\r\n";
       }

       if(!empty($this->accept))
       {
           $this->header .= "Accept: ". $this->accept ."\r\n";
       }
       if(!empty($this->gzip))
       {
           if ( function_exists("gzinflate") )
           {
                $this->header .= "Accept-encoding: gzip\r\n";
            }
            else
            {
                $this->status = "不支持压缩";
            }
       }
       if(!empty($this->referer))
       {
           $this->header .= "Referer: ".$this->referer."\r\n";
       }
       if(!empty($this->accept_language))
       {
           $this->header .= "Accept-Language: ".$this->accept_language."\r\n";
       }
       if(!empty($this->cookie))
       {
           if(!is_array($this->cookie))
           {
               $this->header .="Cookie: ".$this->cookie;
           }
           else
           {
               if(count($this->cookie) >0)
               {
                   $cookie = "Cookie: ";
                   foreach($this->cookie as $key => $val)
                   {
                       $cookie.=$key."=".urlencode($val).";";
                   }
                  $cookie = substr($cookie, 0, strlen($cookie)-1)."\r\n";
               }
               $this->header .= $cookie;
           }
       }
       if(!empty($this->submit_type))
       {
           $this->header .="Content-Type: ".$this->submit_type."\r\n";
       }
       if(!empty($this->post_content))
       {
           $this->header .= "Content-length: ".strlen($this->post_content)."\r\n";
       }
       if(!empty($this->connection))
       {
           $this->header .= "Connection: ".$this->connection."\r\n";
       }
       $this->header .="\r\n";
       //上面是HTTP请求头部信息
       //echo $this->cmd_line.$this->header.$this->post_content; exit();
       //发送请求
       $len = strlen($this->cmd_line.$this->header.$this->post_content);
      if($len != fwrite($this->conn, $this->cmd_line.$this->header.$this->post_content,$len))
      {
          $this->status = "发送请求failed";
      }

       //接受响应，每次读取一行内容，首先解析响应头
       while($response_header = fgets($this->conn, 1024))
       {
           if(preg_match("|^HTTP/|",$response_header))
            {
                //匹配状态数字,200表示请求成功
                if(preg_match("|^HTTP/[^\s]*\s(.*?)\s|",$response_header, $status))
                {
                        $this->response_num= $status[1];//返回代表数字的状态
                }
            }
            //echo $this->response_num; exit();
            // 判断是否需要重定向
            if(preg_match("#^(Location:|URI:)#i",$response_header))
            {
                // 获取重定向地址
                preg_match("#^(Location:|URI:)\s+(.*)#",trim($response_header),$matches);

                //如果重定向字段不包含主机名，不是以以://开头的，则拼接王完整的请求地址，模式+主机+端口
                if(!preg_match("#\:\/\/#",$matches[2]))
                {
                    // 补全主机名
                    $this->redirect = "http://".$this->host.":".$this->port;

                    //添加路径
                    if(!preg_match("|^/|",$matches[2]))
                           $this->redirect .= "/".$matches[2];
                    else
                           $this->redirect .= $matches[2];
                }
                else
                //包含完整的主机地址
                        $this->redirect = $matches[2];
            }

        //判断返回的数据的压缩格式
	if (preg_match("#^Content-Encoding: gzip#", $response_header) )
          {
                $this->is_gzip = true;
          }
          if(preg_match('#^Content-Length:\s*(\d+)#i', $response_header, $len))
          {
              $this->response_body_length = $len[1];
          }

        //解析完响应头部
        if(preg_match("/^\r?\n$/", $response_header) )
            break;

        $this->response_header[]=$response_header;
       }
       //可以成功返回响应头部信息,响应状态码也为200
      // var_dump($this->response_header); exit();

        if($this->response_num==200)
        {
            //问题出在这里
            //echo "ok"; exit();
            $dirname = "./download/".date("Ymd");
            $path;
            $filename;
            $len=0;
            while($items = fread($this->conn, $this->response_body_length))
            {
                if(!is_dir($dirname))
                {
                    $path = mkdir($dirname,0777,true);
                }
                $filename = $dirname.'/'.basename($this->url,'.html').'.txt';
                $len = $len+strlen($items);
                file_put_contents($filename, $items, FILE_APPEND);
                //这里必须判断读取的长度，不然会在这里阻塞
                if($len >= $this->response_body_length) break;

            }

            if($this->is_gzip)
                $this->response_body = gzinflate ($this->response_body);
            $this->getRollLink($filename);
           // sleep(1);
        }
   }
    private function getRollLink($filename)
   {
       if(!file_exists($filename)) die('文件不存在');
       $temp=file_get_contents($filename, false, null, 0, 64);
        $encoding=mb_detect_encoding($temp, array('GB2312','GBK','UTF-8','BIG5','LATIN1'));
        $content='';
        if($encoding !='UTF-8')
        {
                $content = mb_convert_encoding(file_get_contents($filename), 'UTF-8', $encoding);
        }

       if(preg_match('#<ul\s+class="image"[^>]*?>.*?</ul>#is', $content, $match))
       {
           if(preg_match('#<a\s+href="([^"]+?)">下一页</a>#ui', $match[0], $next))
           {
                $this->roll_link =  $next[1];
           }
       }
       else
       {
          $this->roll_link = false;
       }
   }

}
ob_implicit_flush(true);
set_time_limit(0);
$url = $url = "http://www.mmkao.com/Beautyleg/201410/6503_2.html";
$http = new HttpWrap();
$http->cookie = "safedog-flow-item=41E2DBFEF121A8A2835ADB4476E5D3EC";
$http->referer = "www.mmkao.com";
$http->init($url);
?>

</pre><pre code_snippet_id="544502" snippet_file_name="blog_20141206_3_7561862" name="code" class="php">//测试完成对10个分页采集完成，稍加修改就能完成整站采集，采集的都是HTML源码，速度比较快，为了避免被网站管理员发现，可以适当的设置休眠时间，模拟人为浏览，
//有些网站的当前页的分页数字的链接是指向当前页的，所以在最后一页，会反复发送同一个请求，所以必须判断，就是这里：
if(strtolower(trim($this->url)) == strtolower(trim($next_url))) die("本页截取完毕<br />");

//再就是有些网站有代理服务器，或者会有一些重定向的跳转，所以必须加以判断，
//如果采集向猫扑网论坛里面的论坛那样的网页，会存在frame，所以特殊情况，可以加以判断




采集过程记录：

对链接http://www.mmkao.com/Beautyleg/201410/6503_2.html发起请求
对链接http://www.mmkao.com/Beautyleg/201410/6503_3.html发起请求
对链接http://www.mmkao.com/Beautyleg/201410/6503_4.html发起请求
对链接http://www.mmkao.com/Beautyleg/201410/6503_5.html发起请求
对链接http://www.mmkao.com/Beautyleg/201410/6503_6.html发起请求
对链接http://www.mmkao.com/Beautyleg/201410/6503_7.html发起请求
对链接http://www.mmkao.com/Beautyleg/201410/6503_8.html发起请求
对链接http://www.mmkao.com/Beautyleg/201410/6503_9.html发起请求
对链接http://www.mmkao.com/Beautyleg/201410/6503_10.html发起请求
采集完成



当然在本地也生成了对应的html网页

错_对
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
基于PHP的火爆阅读小说采集 php版.zip
07-26
【标题】"基于PHP的火爆阅读小说采集 php版.zip" 提示我们这是一个使用PHP编程语言开发的小说采集程序。PHP是一种广泛使用的开源脚本语言，特别适合于Web开发，可以嵌入到HTML中使用。这个项目可能是为了从互联网上...
基于PHP的众大云采集Discuz版.zip
10-10
【标题】"基于PHP的众大云采集Discuz版.zip" 涉及的主要知识点是PHP编程语言以及Discuz论坛系统的集成与数据采集技术。PHP是一种广泛使用的开源服务器端脚本语言，尤其在Web开发领域中应用极为广泛，它允许开发者...
使用PHP做网页采集实例过程总结
章郎虫的专栏
12-27 206
查看原文：http://www.sijitao.net/1511.html 最近有个任务是需要我检查一些网站，如果纯手工检查的话，感觉既费时又无聊。所以我就想用采集。思路其实很简单，先把网站的源码采集下来，然后用正则表达式去匹配符合的链接，最后把标题和网址入库、分析。因为我使用最多的是php，所以打算用php做网页采集。 第一步，链接数据库，取出需要检查的网站和正则。 ...
疯子网页采集器之测试发布教程
hwbbbb的博客
11-17 280
疯子网页采集器之测试发布教程 第一步： 先登录，如果没有设置发帖需要登录这步可以省略 填写发帖页面 http://localhost/forum.php?mod=post&amp;action=newthread&amp;fid=40 点击发帖页面，等网页加载完再点击代码 把代码用dreamweaver或别的网页编辑器打开方便浏览 第二步：标题规则 在代码中找到标题的表单代码INPUT...
php网站采集程序,php curl网站采集的实现程序
weixin_39575648的博客
03-26 183
网站采集功能现在多半会使用火车头这些软件来实现了,但是对于一些定时或小的采集我们可以使用程序来实现,在php中curl是当选的一个函数了,下面一起来看看curl网站采集的实现程序吧.选择curl的理由关于curl与file_get_contents,摘抄一段通俗易懂的对比:file_get_contents其实是一堆内置的文件操作函数的合并版本,比如file_exists,fopen,fread,...
QueryList 4.0 简洁、优雅、可扩展的PHP采集工具(爬虫)
weixin_34404393的博客
09-30 1061
QueryList 简介 QueryList是一套简洁、优雅、可扩展的PHP采集工具(爬虫)，基于phpQuery。 特性 拥有与jQuery完全相同的CSS3 DOM选择器 拥有与jQuery完全相同的DOM操作API 拥有通用的列表采集方案 拥有强大的HTTP请求套件，轻松实现如：模拟登陆、伪造浏览器、HTTP代理等意复杂的网络请...
PHP测试页代码
热门推荐
davidyezhiwei的博客
08-15 1万+
phpinfo();  ?>
基于PHP的新浪天气采集插件 php版.zip
08-29
【标题】"基于PHP的新浪天气采集插件 php版.zip" 涉及的主要知识点是PHP编程语言以及如何利用PHP来实现数据采集，特别是从新浪天气API获取信息。在这个插件中，开发者可能使用了PHP的网络请求库，如cURL或者file_get...
基于PHP的MACCMS资源采集插件php版源码.zip
08-27
【标题】"基于PHP的MACCMS资源采集插件php版源码" 提供的是一个用于资源采集的PHP插件，适用于MACCMS（Media阿奇CMS）系统。MACCMS是一款广泛使用的开源CMS，专为视频、文章等内容管理设计，而这个插件则是其功能的...
基于PHP的爱问PHP采集DaTingBa版 v1.0.zip
07-24
【标题】"基于PHP的爱问PHP采集DaTingBa版 v1.0.zip" 提供的是一款专门用于数据采集的PHP程序，该程序设计的目标是针对“爱问”这一平台进行信息抓取。在互联网大数据时代，数据采集是数据分析、网站优化、市场研究...
简单、 灵活、强大的PHP采集工具，让采集更简单一点。
u013216667的博客
07-04 1万+
下载地址：http://www.querylist.cc/ How to use? 试试更优雅的采集方式吧！ QueryList的出现让PHP做采集从未如此简单。得益于phpQuery，让使用QueryList几乎没有任何学习成本，只要会CSS3选择器就可以轻松使用QueryList了，和jQuery选择器用法完全通用，它让PHP做采集像jQuery选择元素一样简单。
php采集网站
唯心丶Yoko的博客
05-06 489
&lt;?php namespace Home\Controller; use Think\Controller; class CollectionController extends Controller { public function Collection(){ header("Content-Type: text/html;charset=utf-8"); ...
PHP采集页面的四种方法
柚子哥哥i的博客
05-19 6814
什么叫采集？就是使用PHP程序，把其他网站中的信息抓取到我们自己的数据库中、网站中。可以通过三种方法来使用PHP访问到网页    1. 使用file_get_contents()         前提：在php.ini中设置允许打开一个网络的url地址。                    使用这个函数时可以直接将路径写入函数中，将所选路径的内容加载出来，但是在访问网上的网址时必须连接网络&lt...
php在线采集测试,php实现图片远程采集（PHP采集）
weixin_39745724的博客
03-10 130
以下为引用的内容：//本程序为初学者入门，你可以随意更改使用//如有问题或有什么改进和优化，还望与我分享 QQ:297535861//与你一块进步。//2007-12-26function str_substr($str ,$statr, $end) { //字符串截取函数$x = strpos($str, $statr);return substr($str, $x+strlen($start...
php采集网页 alpha版
Free_Program_1314的专栏
12-06 2015
//可以对整个网站的网页进行采集，包括下一页，下一组，采集完所有的页之后，进入下一组.......<?php header("content-type: text/html; charset=utf-8"); class HttpWrap { public $timeout=3; public $status=''; public $host; public $
php解析html dom节点树
Free_Program_1314的专栏
12-19 5636
不得不感叹用DOM直接解析HTML DOM树的灵活和强大，因为基本的HTML元素就是那么几种常见的，再加上ID属性或者CLASS属性之类的。。 在解析html文件时，完全可以用正则中脱离出来，毕竟HTML文件中存在大量相似的模式，而且代码看上去功能比较显而易见，当然正则是非常强大的，应用的领域也更广。。 代码如下： <?php //关闭载入包含js时的警告提示 err
php电影自动采集运营版源码
最新发布
12-14
PHP电影自动采集运营版源码是一种基于PHP语言开发的电影采集系统，它能够自动从各大电影网站上获取最新的电影信息，并将其展示在我们的网站上。这样，我们就可以方便地浏览和搜索各种电影资源。 该运营版源码包含了...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值