CosmoKey PHP中使用CURL请求页面，使用fiddler进行抓包

最新推荐文章于 2019-07-23 17:28:49 发布
最新推荐文章于 2019-07-23 17:28:49 发布
阅读量191 收藏
点赞数
文章标签： php javascript ViewUI
原文链接：https://my.oschina.net/vanluo/blog/1492633
版权

在PHP中使用CURL访问页面：

1

2

3

4

5

6

7

8

9

10

11

<?php

 

$ch = curl_init('http://www.baidu.com');

curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);

curl_setopt($ch, CURLOPT_HEADER, 1);

// 3. 执行并获取HTML文档内容

$output = curl_exec($ch);

// 4. 释放curl句柄

curl_close($ch);

echo $output;

?>

 可以显示页面，并且可以使用curl_getinfo函数获取请求头。

但不能直观的查看，而且无法使用Fiddler进行抓包。

经过搜索后终于找到解决办法：

Fiddler的抓包方式：打开Fiddler后，自动设置浏览器代理到127.0.0.1:8888。

所有浏览的网页均通过该端口进行转发，固可以抓包。

修改PHP代码：

1

2

3

4

5

6

7

8

9

10

11

12

13

14

<?php

 

$ch = curl_init('http://www.baidu.com');

curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);

curl_setopt($ch, CURLOPT_HEADER, 1);

 

curl_setopt($ch,CURLOPT_PROXY,'127.0.0.1:8888');//设置代理服务器

curl_setopt($ch,CURLOPT_SSL_VERIFYPEER,0);//若PHP编译时不带openssl则需要此行

// 3. 执行并获取HTML文档内容

$output = curl_exec($ch);

// 4. 释放curl句柄

curl_close($ch);

echo $output;

?>

 发现返回：

HTTP/1.1 504 Fiddler - Receive Failure Date: Tue, 08 Oct 2013 15:22:50 GMT Content-Type: text/html; charset=UTF-8 Connection: close Timestamp: 23:22:50.647 [Fiddler] ReadResponse() failed: The server did not return a response for this request.Server returned 0 bytes.

抓包信息为：

121627_5rEc_2913235.png

上行

GET http://www.baidu.com HTTP/1.1
Host: www.baidu.com
Accept: */*
Connection: Keep-Alive

下行

复制代码

HTTP/1.1 504 Fiddler - Receive Failure
Date: Tue, 08 Oct 2013 15:22:50 GMT
Content-Type: text/html; charset=UTF-8
Connection: close
Timestamp: 23:22:50.647

[Fiddler] ReadResponse() failed: The server did not return a response for this request.Server returned 0 bytes.

复制代码

经过分析后发现，请求域名，必须以“/”结尾。

更改后代码

复制代码

<?php

$ch = curl_init('http://www.baidu.com/'); 
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_HEADER, 1);

curl_setopt($ch,CURLOPT_PROXY,'127.0.0.1:8888');//设置代理服务器 
curl_setopt($ch,CURLOPT_SSL_VERIFYPEER,0);//若PHP编译时不带openssl则需要此行 
// 3. 执行并获取HTML文档内容
$output = curl_exec($ch);
// 4. 释放curl句柄
curl_close($ch);
echo $output;
?>

复制代码

效果：

Fiddler：

121627_hEcj_2913235.png

上行：

GET http://www.baidu.com/ HTTP/1.1
Host: www.baidu.com
Accept: */*
Connection: Keep-Alive

 

下行：

复制代码

HTTP/1.1 200 OK
Date: Tue, 08 Oct 2013 15:51:19 GMT
Server: BWS/1.0
Content-Length: 11002
Content-Type: text/html;charset=utf-8
Cache-Control: private
BDPAGETYPE: 1
BDUSERID: 0
BDQID: 0x84be7be11e5c433f
Set-Cookie: BDSVRTM=1; path=/
Set-Cookie: H_PS_PSSID=3409_3381_2777_1426_2975_2980_3501; path=/; domain=.baidu.com
Set-Cookie: BAIDUID=68722482960D705B97CAF69731DF6C19:FG=1; expires=Tue, 08-Oct-43 15:51:19 GMT; path=/; domain=.baidu.com
Expires: Tue, 08 Oct 2013 15:51:19 GMT
P3P: CP=" OTI DSP COR IVA OUR IND COM "
Connection: Keep-Alive

<!DOCTYPE html><!--STATUS OK--><html><head><meta ...略...

复制代码

 

Web：

121627_Gg3U_2913235.png

 

 

 

 

$ch = curl_init('https://ajax.aspnetcdn.com/ajax/jQuery/jquery-1.5.1.min.js'); 
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_HEADER, 1);

curl_setopt($ch,CURLOPT_PROXY,'127.0.0.1:8888');//设置代理服务器 
curl_setopt($ch,CURLOPT_SSL_VERIFYPEER,0);//若PHP编译时不带openssl则需要此行 
// 3. 执行并获取HTML文档内容
$output = curl_exec($ch);
// 4. 释放curl句柄
curl_close($ch);

转载于:https://my.oschina.net/vanluo/blog/1492633

choupa9011
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
python网络请求和“HTTP Error 504:Fiddler - Receive Failure“
华科硕士，大厂打工中。编程问题咨询，请私我
02-21 1万+
HTTP Error 504:Fiddler - Receive Failure
urllib2.HTTPError: HTTP Error 504: Fiddler - Receive Failure
学习总结
12-15 3621
刚接触python学习，写一个简单的爬虫，在用fiddler抓取网络信息报了错 ，服务器报了504错误， 经检查使用fiddler抓包时需要写明全路径，结尾以“/”结束
Python爬虫基础
01-22 327
前言 Python非常适合用来开发网页爬虫，理由如下： 1、抓取网页本身的接口 相比与其他静态编程语言，如java，c#，c++，python抓取网页文档的接口更简洁；相比其他动态脚本语言，如perl，shell，python的urllib包提供了较为完整的访问网页文档的API。（当然ruby也是很好的选择） 此外，抓取网页有时候需要模拟浏览器的行为，很多网站对于生硬的爬虫抓取都是封杀的...
网站权限引起的504错误的问题
weixin_33807284的博客
02-05 535
公司新开发的一个网站今天上线，由我负责发布。配置数据库、网站等的都很顺利。发布完成以后打开网站，页面无法访问。 Fiddler的信息是： HTTP/1.1 504 Fiddler - Receive Failure Content-Type: text/html Connection: close Timestamp: 08:30:45:8693 ReadResponse() failed:...
php使用curl代理实现抓取数据的方法
12-18
本文实例讲述了php使用curl代理实现抓取数据的方法。分享给大家供大家参考，具体如下： <?php define ( 'IS_PROXY', true ); //是否启用代理 function async_get_url($url_array, $wait_usec = 0) { if (!is_...
PHP+fiddler抓包采集微信文章阅读数点赞数的思路详解
12-20
2.提交文章链接进行查询时，服务器从文章链接里获取__biz，查询是否缓存了当前公众号对应的key,有的话进行第3步，没有进行第4步。 3.curl请求https://mp.weixin.qq.com/mp/getappmsgext? 接口获取数据 4.key不存在时...
PHP的cURL库功能简介 抓取网页、POST数据及其他
12-18
**PHP的cURL库功能简介** cURL是PHP中一个强大的库，用于处理URLs，支持多种协议，包括HTTP、HTTPS、FTP等。它允许开发者执行各种网络...这使得cURL成为PHP中进行网页抓取、数据交互和自动化任务的不可或缺的工具。
淘宝抓包不同版本分析.zip
04-30
在IT行业中，网络数据抓包是一项重要的技术，用于分析网络通信过程中的数据传输情况。本话题聚焦于"淘宝抓包不同版本分析.zip"，其中包含了针对Android 10、Android 8以及Android 6三个不同操作系统版本的淘宝APP的...
啊D工具包
11-11
Fiddler或者Charles则用于HTTP/HTTPS协议的抓包和代理，对网页应用的调试非常有用。 4. **操作系统工具**：可能包含各种命令行工具，如Windows的Powershell或Linux的bash，以及它们的各种扩展工具，如curl、wget...
WCF问题集锦：ReadResponse failed: The server did not return a complete response for this request....
weixin_30570101的博客
06-05 1554
今日。对代码进行单元測试时。发现方法GetAllSupplyTypes报例如以下错误： [Fiddler] ReadResponse() failed: The server did not return a complete response for this request. Server returned 0 bytes. 经过对照。唯一的差异是该方法返回的数据对象是一个继承...
Fiddler 调试出现的 ReadResponse() failed 问题
热门推荐
奋斗
07-31 1万+
        好久没写博客了，想重新开始、继续积累。         最近在使用 Fiddler 分析一个应用，出现了如下错误： [Fiddler] ReadResponse() failed: The server did not return a complete response for this request.         对这块不是特别熟，一时半会没有头绪。按照该错误说...
WCF问题集锦：ReadResponse failed: The server did not return a complete response for this request.
mole的专栏
07-16 1万+
今日，对代码进行单元测试时，发现方法GetAllSupplyTypes报如下错误： [Fiddler] ReadResponse() failed: The server did not return a complete response for this request. Server returned 0 bytes. 经过对比，唯一的差异是该方法返回的数据对象是一个继承于另一个集合对象
fiddler https抓包失败原因 解决
h1028962069的专栏
06-23 1万+
今天装fiddler 出现各种问题 网上一些版本很容易出现问题1.首先你要以管理员身份运行2.勾选以下两项 提示安装证书 选择是 3. 网上各种汉化版本和英文 不行 还有百度提供的下载地址也不行主要原因自己比较懒,懒得去官网下载一个可以用的 下面我提供一个可以用的
fiddler抓包遇到的一些问题
lunhui951229的博客
05-02 1722
Fiddler遇到“urllib.error.HTTPError: ”
taiyanghua1987的专栏
03-06 373
解决方法：不要选择“enable IPv6（if available）”
fiddler-主菜单Rules（调试、弱网、低速网络、模拟手机登录）
飞儿
07-23 2080
本章主讲：主菜单规则Rules中的功能点（例如：调试、弱网、低速网络、模拟手机登录）
PHP中cURL的详细使用教程
Curl在PHP中的使用主要通过`curl_setopt()`函数进行配置。该函数接受三个参数：一个CURL句柄（`$ch`）、一个设置选项（`$option`）和该选项对应的值（`$value`）。以下是文档中提到的一些关键选项： 1. `CURLOPT_...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值