php7 curl_init(),php7.3-curl_init获取301、302跳转后的数据

76cc32e28a5dc3a08fbfdad67778a900.png

最近在做一个蜘蛛项目,发现在抓取数据时,有时会碰到301的页面,原本写的curl_init函数php7-远程获取api接口或网页内容,直接无法抓取301跳转后的页面,因此对原本的函数进行了一下优化,现在可以直接抓取301跳转后的数据。

d6d13e11abf8dcc8f2c78ac69599bbb4.png

function http_request_json($url,$post_data = NULL)

{

$ch = curl_init();

curl_setopt($ch, CURLOPT_URL, $url);

curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false);

curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, false);

if (isset($post_data)){

curl_setopt($ch, CURLOPT_POST, true);

curl_setopt($ch, CURLOPT_POSTFIELDS, $post_data);

}

curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);

curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);

curl_setopt($ch, CURLOPT_MAXREDIRS,20);

$result[1] = curl_exec($ch);

$result[0]= curl_getinfo($ch,CURLINFO_HTTP_CODE);

curl_close($ch);

ksort($result);

return $result;

}

//函数中加入下面这条语句可以抓取301后的页面

curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);

// 最多跳转20次

curl_setopt($ch, CURLOPT_MAXREDIRS,20);

无论是GET提交数据还是POST提交数据,都可以直接调用这个函数,比以前更方便了。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值