php实现爬虫

最近接了一个需求，用php写一个爬虫，不能使用框架，我就用curl写了一个爬虫

原理

原理其实很简单，首先指定一个起点，获取到一个页面的内容，然后获取其中所有的下一级url，写入文件或数据库作为种子队列，之后循环从文件中取出一个url获取其中所有的下一级url。对于感兴趣的url可以进行自定义的操作。

curl请求

	$ch=curl_init();
    curl_setopt($ch, CURLOPT_HTTPAUTH, CURLAUTH_BASIC ) ;
    curl_setopt($ch, CURLOPT_USERPWD, "username:password");
    curl_setopt($ch, CURLOPT_SSLVERSION,3);
    curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false);
    curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, false);
    curl_setopt($ch, CURLOPT_SSLVERSION, 6);
    curl_setopt($ch,CURLOPT_URL,$url);
    curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);//将curl_exec()获取的信息以字符串返回，而不是直接输出
    curl_setopt($ch,CURLOPT_HEADER,1);
    $result=curl_exec($ch);
    $code=curl_getinfo($ch,CURLINFO_HTTP_CODE);
    //var_dump($result);
    if($code!='404' && $result){
        return $result;
    }
    curl_close($ch);

删除相同的url

function del_same_url($array_url){
    if(is_array($array_url)){
        $insert_url=array();
        $pizza=file_get_contents("url.txt");
        if($pizza){
            $pizza=explode("\r\n",$pizza);
            foreach($array_url as $array_value_url){
                if(!in_array($array_value_url,$pizza)){//检查数组中是否存在某个值
                    $insert_url[]=$array_value_url; //不存在则会新增到数组上
                }
            }
            if($insert_url){
                foreach($insert_url as $key => $insert_url_value){
                    #这里只做了参数相同去重处理
                    $update_insert_url=preg_replace('/=[^&]*/','=leesec',$insert_url_value);
                    foreach($pizza as $pizza_value){
                        $update_pizza_value=preg_replace('/=[^&]*/','=leesec',$pizza_value);
                        if($update_insert_url==$update_pizza_value){
                            unset($insert_url[$key]);
                            continue;
                        }
                    }
                }
            }
        }else{
            $insert_url=array();
            $insert_new_url=array();
            $insert_url=$array_url;
            foreach($insert_url as $insert_url_value){
                $update_insert_url=preg_replace('/=[^&]*/','=leesec',$insert_url_value);
                $insert_new_url[]=$update_insert_url;
            }
            $insert_new_url=array_unique($insert_new_url);
            foreach($insert_new_url as $key => $insert_new_url_val){
                $insert_url_bf[]=$insert_url[$key];
            }
            $insert_url=$insert_url_bf;
        }
        return $insert_url;
    }else{
        return;
    }
}

获取感兴趣的数据

设置了curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1)后curl_exec()就能以字符串的形式返回获取到的页面，想要获取页面中具体某一部分的内容，就需要自己写正则表达式或者使用xpath来获取了。

这里提供一个正则表达式去除html的标签

preg_replace("/<\/?.+?\/?>/","",$data); // 去除标签只保留文本

主程序

function main(){
    $current_url="https://www.baidu.com";
    $fp_puts = fopen("url.txt","ab");//记录url列表
    $fp_gets = fopen("url.txt","r");//保存url列表
    $url_base_url=parse_url($current_url);
    if($url_base_url['scheme']==""){
        $url_base="http://".$url_base_url['host'];
    }else{
        $url_base=$url_base_url['scheme']."://".$url_base_url['host'];
    }
    do{
        ...
      }
    }while ($current_url = substr(fgets($fp_gets,1024),0,-2));//不断获得url 从文件中读取一行,去掉末尾的空格,否则curl_exec()无法运行
}

这里要注意循环读取url时调用fgets()会从文件中读取一行，以字符串返回，但是末尾会带有空格，而curl_exec()执行带有空格的url会返回false，而且curl_error()为空，这里折腾了我好久。