php禁止进行302重定向,关于抓取网站数据,出现302重定向!该如何处理

关于抓取网站数据,出现302重定向!急!急!急!

目标网站:http://www.dltm.net/webtmq/free/free_query.php

第一步:输入商标号,提交(post抓起)

171919140.jpg

第二步:点击商标号

171919141.jpg

第三步:需要抓取的数据

171919142.jpg

前两步均已实现抓取,但抓取最后一步时老是出现302重定向,导致数据抓取不到。

相关代码:

//第一步

define(TARGET_URL,'http://www.dltm.net/webtmq/free/free_query.php');

define(REFFER_URL,'http://www.dltm.net');

$url=TARGET_URL;

$ch=curl_init($url);

curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);//返回结果存放在变量中,而不是默认的直接输出

curl_setopt($ch, CURLOPT_HEADER, 0);

curl_setopt($ch, CURLOPT_REFERER, REFFER_URL);

$result= curl_exec($ch);//保存输出的页面到$result中

curl_close($ch);

preg_match_all('',$result,$rs);

//第二步

$fields_post = array(

'ip'=>$rs[1][0],

'textarea_explain'=>'%B2%E9%D1%AF%C8%AB%B2%BF%C0%E0%B1%F0',

'tm_lb'=> '0',

'tm_key'=>'8437927',

'tm_key_item'=>'tm_zch',

'query_mode'=>'1'

);

$fields_string='';

foreach($fields_post as $key => $value)

{

$fields_string .= $key . '=' . $value . '&';

}

$fields_string = rtrim($fields_string,'&');

define(TARGET_URL1,'http://www.dltm.net/webtmq/free/free_res.php');

define(REFFER_URL1,'http://www.dltm.net/webtmq/free/free_res.php');

$url=TARGET_URL1;

$ch=curl_init($url);

curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);//返回结果存放在变量中,而不是默认的直接输出

curl_setopt($ch, CURLOPT_HEADER, 0);

curl_setopt($ch, CURLOPT_REFERER, REFFER_URL1);

curl_setopt($ch,CURLOPT_POST,1);//以POST方式提交

curl_setopt($ch,CURLOPT_POSTFIELDS,$fields_string);

$result= curl_exec($ch);//保存输出的页面到$result中

curl_close($ch);

//第三步

preg_match_all('',$result,$res);

$url = 'http://www.dltm.net/webtmq/free/'.$res[1][0];

$ch=curl_init($url);

curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);//返回结果存放在变量中,而不是默认的直接输出

curl_setopt($ch, CURLOPT_HEADER, 0);

curl_setopt($ch, CURLOPT_REFERER, REFFER_URL1);

$result= curl_exec($ch);//保存输出的页面到$result中

curl_close($ch);

print_r($result);exit;//这一步得不到数据

可以自己copy一下代码运行一下,第三步数据得不到,大神能帮我看看么,如果能得到数据,请贴出你的源码,非常感谢!!!

------解决方案--------------------

增加

curl_setopt($ch, CURLOPT_COOKIEJAR, "cookie.txt");

curl_setopt($ch, CURLOPT_COOKIEFILE, "cookie.txt");

------解决方案--------------------

怎么不可以呢?

以注册号 8437927 为例

新建一文件 cookie.txt,执行代码$cookie = realpath('cookie.txt'); //这是增加的

//第一步

define('TARGET_URL','http://www.dltm.net/webtmq/free/free_query.php');

define('REFFER_URL','http://www.dltm.net');

$url=TARGET_URL;

$ch=curl_init($url);

curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);//返回结果存放在变量中,而不是默认的直接输出

curl_setopt($ch, CURLOPT_HEADER, 0);

curl_setopt($ch, CURLOPT_REFERER, REFFER_URL);

curl_setopt($ch, CURLOPT_COOKIEFILE, $cookie); //这是增加的

curl_setopt($ch, CURLOPT_COOKIEJAR, $cookie); //这是增加的

$result= curl_exec($ch);//保存输出的页面到$result中

curl_close($ch);

preg_match_all('',$result,$rs);

//第二步

$fields_post = array(

'ip'=>$rs[1][0],

'textarea_explain'=>'%B2%E9%D1%AF%C8%AB%B2%BF%C0%E0%B1%F0',

'tm_lb'=> '0',

'tm_key'=>'8437927',

'tm_key_item'=>'tm_zch',

'query_mode'=>'1'

);

$fields_string='';

foreach($fields_post as $key => $value)

{

$fields_string .= $key . '=' . $value . '&';

}

$fields_string = rtrim($fields_string,'&');

define('TARGET_URL1','http://www.dltm.net/webtmq/free/free_res.php');

define('REFFER_URL1','http://www.dltm.net/webtmq/free/free_res.php');

$url=TARGET_URL1;

$ch=curl_init($url);

curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);//返回结果存放在变量中,而不是默认的直接输出

curl_setopt($ch, CURLOPT_HEADER, 0);

curl_setopt($ch, CURLOPT_REFERER, REFFER_URL1);

curl_setopt($ch,CURLOPT_POST,1);//以POST方式提交

curl_setopt($ch,CURLOPT_POSTFIELDS,$fields_string);

curl_setopt($ch, CURLOPT_COOKIEFILE, $cookie); //这是增加的

curl_setopt($ch, CURLOPT_COOKIEJAR, $cookie); //这是增加的

$result= curl_exec($ch);//保存输出的页面到$result中

curl_close($ch);

//第三步

preg_match_all('',$result,$res);

$url = 'http://www.dltm.net/webtmq/free/'.$res[1][0];

$ch=curl_init($url);

curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);//返回结果存放在变量中,而不是默认的直接输出

curl_setopt($ch, CURLOPT_HEADER, 0);

curl_setopt($ch, CURLOPT_REFERER, REFFER_URL1);

curl_setopt($ch, CURLOPT_COOKIEFILE, $cookie); //这是增加的

curl_setopt($ch, CURLOPT_COOKIEJAR, $cookie); //这是增加的

$result= curl_exec($ch);//保存输出的页面到$result中

curl_close($ch);

print_r($result);exit;

171919143.jpg

171919144.jpg

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值