采集获取网页内容

最新推荐文章于 2022-11-15 21:17:30 发布

feitianli37

最新推荐文章于 2022-11-15 21:17:30 发布

阅读量1.2k

点赞数

本文链接：https://blog.csdn.net/han_cui/article/details/54864000

版权

乱码有几种可能如下：

1.页面能获取过来，只是内容乱码而已：可以采用iconv()和mb_convert_encoding()函数进行转码即可

如：

header('content-type:text/html;charset=utf-8;');
$url = 'http://weibo.com/5589516034/profile?topnav=1&wvr=6&is_all=1';
$file = file_get_contents($url);
//打印获得的数据
$output = iconv('gb2312', 'utf-8', $file);
var_dump($output);

2.当内容都无法正常获取的时候，分两种情况第一种是防盗链，第二种是页面需要解压

2.1防盗链情况下解决办法比较简单，模拟浏览器就可以了

[php]view plaincopy 
   
 <?php  
     header('content-type:text/html;charset=utf-8');  
     $url="http://www.sohu.com/";  
     ini_set('user_agent','Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 2.0.50727;)');  
     $html=file_get_contents($url);  
     //echo $html;  
     echo mb_convert_encoding($html,'utf8','gbk');  //转码

2.2需要解压时，我们可以用以下方式

[php]view plaincopy 
  

<?php
header("content-type:text/html;charset=utf-8");
$url="http://wthrcdn.etouch.cn/WeatherApi?city=%E5%8C%97%E4%BA%AC";
$xml = simplexml_load_file("compress.zlib://".$url);
$json=json_encode($xml);
$arr=json_decode($json,true);
print_r($arr);

curl模拟post请求提交

 
  header('content-type:text/html;charset=utf-8');  
 function curlPost($url,$data,$method){  
     $ch = curl_init();   //1.初始化  
     curl_setopt($ch, CURLOPT_URL, $url); //2.请求地址  
     curl_setopt($ch, CURLOPT_CUSTOMREQUEST, $method);//3.请求方式  
     //4.参数如下  
     curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, FALSE);//https  
     curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, FALSE);  
     curl_setopt($ch, CURLOPT_USERAGENT, 'Mozilla/5.0 (compatible; MSIE 5.01; Windows NT 5.0)');//模拟浏览器  
     curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);  
     curl_setopt($ch, CURLOPT_AUTOREFERER, 1);  
         curl_setopt($ch, CURLOPT_HTTPHEADER,array('Accept-Encoding: gzip, deflate'));//gzip解压内容  
         curl_setopt($ch, CURLOPT_ENCODING, 'gzip,deflate');  
       
     if($method=="POST"){//5.post方式的时候添加数据  
         curl_setopt($ch, CURLOPT_POSTFIELDS, $data);  
     }  
     curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);  
     $tmpInfo = curl_exec($ch);//6.执行  
   
     if (curl_errno($ch)) {//7.如果出错  
         return curl_error($ch);  
     }  
     curl_close($ch);//8.关闭  
     return $tmpInfo;  
 }  
 $data=array('name' => '1234');  
 $url="http://www.sohu.com/";  
   
 $method="GET";  
 $file=curlPost($url,$data,$method);  
 $file=mb_convert_encoding($file,'UTF-8','GBK');  
 echo $file;  
 

当cookie认证登陆的时候

[php]view plaincopy 
   
 <?php  
     $cookie_file = tempnam('./temp','cookie');  
     function weixinPost($url,$data,$method,$setcooke=false,$cookie_file=false){  
         $ch = curl_init();   //1.初始化  
         curl_setopt($ch, CURLOPT_URL, $url); //2.请求地址  
         curl_setopt($ch, CURLOPT_CUSTOMREQUEST, $method);//3.请求方式  
         //4.参数如下      
         curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, FALSE);  
         curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, FALSE);  
         curl_setopt($ch, CURLOPT_USERAGENT, 'Mozilla/5.0 (compatible; MSIE 5.01; Windows NT 5.0)');  
         curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);  
         curl_setopt($ch, CURLOPT_AUTOREFERER, 1);  
           
         if($method=="POST"){//5.post方式的时候添加数据     
             curl_setopt($ch, CURLOPT_POSTFIELDS, $data);  
         }  
         if($setcooke==true){  
             curl_setopt($ch, CURLOPT_COOKIEJAR, $cookie_file);  
         }else{  
             curl_setopt($ch, CURLOPT_COOKIEFILE, $cookie_file);  
         }  
         curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);  
         $tmpInfo = curl_exec($ch);//6.执行  
   
         if (curl_errno($ch)) {//7.如果出错  
             return curl_error($ch);  
         }  
         curl_close($ch);//8.关闭  
         return $tmpInfo;  
     }  
     $data=array('username' => '***','password'=>'***');  
     $url="http://www.xinxinj.com/login.php";  
     $method="POST";  
     $file=weixinPost($url,$data,$method,true,$cookie_file);  
     echo $file;  
           
     $url="http://www.xinxinj.com/admin.php";  
     $method="GET";  
     $file=weixinPost($url,$data,$method,false,$cookie_file);  
     echo $file;  
           
 ?>  

如果上述还是无法解决，那么采用以下方案

[php]view plaincopy 
   
 <?php
 $ch = curl_init();    
 $url = '*******'; //采集网址地址
 $header = array(  
 'cookie:********'
 );//cookie的内容是现在浏览器登录，然后打开控制台，把cookie的信息粘贴进来，注意空格，去空格。
 // 添加apikey到header    
 curl_setopt($ch, CURLOPT_HTTPHEADER  , $header);    
 //curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);    
 curl_setopt($ch, CURLOPT_USERAGENT, 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10.12; rv:50.0) Gecko/20100101 Firefox/50.0');
 //此‘地址’（浏览器标识）根据自己的浏览器复制
 curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);    
 curl_setopt($ch, CURLOPT_AUTOREFERER, 1);
 
 
 curl_setopt($ch,CURLOPT_SSL_VERIFYPEER,false);//若采集网址地址是https加以下此两行
 curl_setopt($ch,CURLOPT_SSL_VERIFYHOST,false);//
 
 
 // 执行HTTP请求    
 curl_setopt($ch , CURLOPT_URL , $url);    
 $res = curl_exec($ch);    
 var_dump($res);    

上面的$header中的数组中cookie的内容是现在浏览器登录，然后打开控制台，把cookie的信息粘贴进来

cookie存储时间有限制。

下面介绍个模拟登录可以长期存取的cookie

<?php
header('Content-type:text/html;charset=utf-8');

$loginUrl = 'https://login.sina.com.cn/sso/login.php?client=ssologin.js(v1.4.15)&_=1403138799543';

$cookie_file1 = dirname(__FILE__).'/cookie/cookie1.txt';
$cookie_file2 = dirname(__FILE__).'/cookie/cookie2.txt';
$cookie_file3 = dirname(__FILE__).'/cookie/cookie3.txt';
（在同级目录下建立文件夹cookie,在此目录下分别创建文件cookie1.txt，cookie2.txt，cookie3.txt）。


$u = '此处通行证帐号';//无中文
$p = '此处通行证密码';

$username = base64_encode($u);
$password = $p;

//登录新浪通行证
$loginData['entry'] = 'sso';
$loginData['gateway'] = '1';
$loginData['from'] = 'null';
$loginData['savestate'] = '30';
$loginData['useticket'] = '0';
$loginData['pagerefer'] = '';
$loginData['vsnf'] = '1';
$loginData['su'] = base64_encode($u);
$loginData['service'] = 'sso';
$loginData['sp'] = $password;
$loginData['sr'] = '1920*1080';
$loginData['encoding'] = 'UTF-8';
$loginData['cdult'] = '3';
$loginData['domain'] = 'sina.com.cn';
$loginData['prelt'] = '0';
$loginData['returntype'] = 'TEXT';

$login = json_decode(loginPost($loginUrl,$loginData),true);

//获取微博cookie
$ch = curl_init();
curl_setopt($ch,CURLOPT_URL,$login['crossDomainUrlList'][0]);    
curl_setopt ( $ch, CURLOPT_SSL_VERIFYPEER, 0 );
curl_setopt ( $ch, CURLOPT_SSL_VERIFYHOST, 2 );
curl_setopt($ch,CURLOPT_HEADER,0);
curl_setopt($ch,CURLOPT_RETURNTRANSFER,1);    
curl_setopt($ch,CURLOPT_COOKIEFILE, $cookie_file1);    
curl_setopt($ch,CURLOPT_COOKIEJAR,$cookie_file2);    
$return = curl_exec($ch);
curl_close($ch);

//通过获取的cookie 登录微博， 自动跳转
$ch = curl_init();
curl_setopt($ch,CURLOPT_URL,"http://weibo.com/at/weibo?topnav=1&wvr=5");
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);    
curl_setopt($ch,CURLOPT_COOKIEFILE, $cookie_file2);    
curl_setopt($ch,CURLOPT_COOKIEJAR,$cookie_file3);
curl_setopt ( $ch, CURLOPT_FOLLOWLOCATION, 1 );    
$return = curl_exec($ch);
//$info = curl_getinfo($ch);
curl_close($ch);
echo $return;

	//写正则获取所需内容

	$preg = '#<title>(.*)</title>#iUs';
	preg_match_all($preg,$return,$arr);
	var_dump($arr);


function loginPost($url,$data){
        global $cookie_file1 ;
        //echo $cookie_file ;exit;
        $ch = curl_init();
        curl_setopt($ch,CURLOPT_URL,$url);    
        curl_setopt($ch,CURLOPT_RETURNTRANSFER,1);    
        curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false);
        curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, false);        
        curl_setopt($ch,CURLOPT_POST,1);
        curl_setopt($ch,CURLOPT_POSTFIELDS, http_build_query($data));
        curl_setopt($ch,CURLOPT_COOKIEJAR,$cookie_file1);
        $return = curl_exec($ch);
        $info = curl_getinfo($ch);
        curl_close($ch);
        return $return;
}

feitianli37

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
采集获取网页内容

乱码有几种可能如下：1.页面能获取过来，只是内容乱码而已：可以采用iconv()和mb_convert_encoding()函数进行转码即可如：header('content-type:text/html;charset=utf-8;');$url = 'http://weibo.com/5589516034/profile?topnav=1&wvr=6&is_al
复制链接

扫一扫