curl 模拟浏览器和X-Forward-IP

于 2024-03-20 14:05:32 发布
阅读量925 收藏 17
点赞数 18
文章标签： tcp/ip 网络协议 网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_37159393/article/details/136874388
版权

1. 说的这里，大家一定不学习一下http请求头部（header）详解 

http请求头部（header）详解-CSDN博客icon-default.png?t=N7T8https://blog.csdn.net/wq2008best/article/details/132731048

常见的请求头部字段
以下是一些常见的HTTP请求头部字段的详解：

GET：此方法用于请求指定的资源。GET请求应该安全且幂等，即多次执行相同的GET请求应该产生相同的结果。
POST：此方法用于向指定的资源提交数据，以便根据所提供的数据创建/更新资源。POST请求不是幂等的，每次执行相同的POST请求可能会产生不同的结果。
PUT：此方法用于完整地更新指定的资源。由于PUT请求是幂等的，多次执行相同的PUT请求应该产生相同的结果。
DELETE：此方法用于删除指定的资源。
HEAD：此方法与GET方法类似，只是服务器在响应中只返回HTTP头部，而不返回实际的数据。这用于检查资源的元数据。
OPTIONS：此方法用于获取指定的资源所支持的通信选项。这可以用于CORS（跨源资源共享）检查。
PATCH：此方法用于对资源进行部分更新。
Host：此头部字段指定请求的主机名和/或端口号。这是必需的，因为HTTP是一个基于TCP/IP的协议，没有主机名和端口号，服务器无法知道请求来自哪里。
User-Agent：此头部字段提供了关于发送请求的应用程序或用户代理的信息。这可以包括浏览器的名称和版本、操作系统等信息。
Accept：此头部字段指定客户端接受哪些类型的数据。例如，可以指定接受HTML、JSON、XML等格式的数据。
Content-Type：此头部字段指定在POST或PUT请求中发送的数据的类型。例如，如果发送的是JSON数据，那么此头部字段应该设置为application/json。
Content-Length：此头部字段指定POST或PUT请求中发送的数据的长度。
Cookie：此头部字段包含由服务器发送的cookie信息，这些信息将在后续的请求中自动包含，以便服务器识别用户或保存状态信息。

2. 模拟浏览器发起 GET 请求

curl -6 -I http://'[fd15:4ba5:5a2b:1008:53bd:92a3:9e83:bb22]' -X GET -H "User-Agent: Mozilla/5.0" -g

这里使用的是IPV6地址的请求，所以后缀要加  -g  这个参数

curl -6 -I http://'[fd15:4ba5:5a2b:1008:53bd:92a3:9e83:bb22]' -X GET -H "User-Agent: Mozilla/5.0" -H "X-Forwarded-For: 你的IP" -g

 上面的命令是模拟代理服务器的请求效果，把x-forwrad-for参数传参。但是为了测试代理服务器所代理的请求，有好多攻击请求，而触发告警的机器只会认为是代理机器的IP是攻击源。用这个命令可以复现这个问题，不需要再搭建nginx 代理服务器。同时代理服务器后面的waf ，最好采用real-ip  and x-forward-for, header 里面的参数调取真实的IP

大德7
关注
  • 18
    点赞
  • 踩
  • 17
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
php 使用curl模拟ip和来源进行访问的实现方法
10-19
下面小编就为大家带来一篇php 使用curl模拟ip和来源进行访问的实现方法。小编觉得挺不错的，现在就分享给大家，也给大家做个参考。一起跟随小编过来看看吧
PHP curl模拟浏览器采集阿里巴巴的实现代码
10-28
都说阿里巴巴有不能采集和防采集的神话，今天就用张老师讲的Curl采集写了一个模拟浏览器的代码。
使用PHP curl模拟浏览器抓取网站信息
12-18
官方解释curl是一个利用URL语法在命令行方式下工作的文件传输工具。curl是一个利用URL语法在命令行方式下工作的文件传输工具。它支持很多协议：FTP, FTPS, HTTP, HTTPS, GOPHER, TELNET, DICT, FILE 以及 LDAP。curl同样支持HTTPS认证，HTTP POST方法, HTTP PUT方法, FTP上传, kerberos认证, HTTP上传, 代理服务器, cookies, 用户名/密码认证, 下载文件断点续传,上载文件断点续传, http代理服务器管道（ proxy tunneling）, 甚至它还支持IPv6, socks5代理服务器
cURL（curl-8.4.0-3-windows）
最新发布
10-22
curl-8.4.0_3-win32-mingw.zip curl-8.4.0_3-win64-mingw.zip curl-8.4.0_3-win64a-mingw.zip
PHP基于curl实现模拟微信浏览器打开微信链接的方法示例
10-17
主要介绍了PHP基于curl实现模拟微信浏览器打开微信链接的方法,结合实例形式分析了php使用curl通过设置HTTP_USER_AGENT实现模拟微信浏览器相关操作技巧,需要的朋友可以参考下
curl模拟不同请求
PrettyEagle的博客
01-06 506
curl模拟请求
Curl Get和Post模拟浏览器请求
ztianming的博客
07-27 966
1, Curl POST 请求 /** * post方式发送curl请求 * @param string $url 请求的服务器地址 * @param array $data 要发送的数据 * @param array $header 请求头数据 * @param int $timeout 超时时间 * @return mixed * @author itbsl */ function cur...
linux curl命令来路伪装(referer)和浏览器伪装(user-agent)
YHJ
06-06 4246
一般的知名站点，都有一套比较完善的机器流量检测系统；它通过流量的IP、流量的来源、使用的浏览设备、访问频次、用户行为等综合分析，来判断当前流量是真实的用户流量，还是机器在爬网站的数据，从而做出是否封禁当前流量的决定。第三方统计站点，也是使用此原理来帮助站长统计用户行文的。 　　而其中的流量来源、使用的浏览设备、甚至流量的IP都是可以伪造的。本文为介绍curl伪装访问来源、和伪装使用的浏览器的方法。伪装来路IP地址，请参考“linux curl命令使用代理服务器”。 一、原理说明： 　　浏览器与http服务.
Linux命令之curl命令
月生的静心苑
06-23 7041
curl命令在linux操作系统中经常来测试网络和url的联通性，模拟正常的网络访问。curl是一个利用URL规则在命令行下工作的文件传输工具，可以说是一款很强大的http命令行工具。它支持文件的上传和下载，是综合传输工具，但按传统，习惯称url为下载工具。curl还支持包括HTTP、HTTPS、ftp等众多协议，还支持POST、cookies、认证、从指定偏移处下载部分文件等功能。
PHP使用curl模拟浏览器访问
美奇软件开发工作室
04-27 2961
/** * get请求 * @param $url */ function curl_get($url,$gzip=false,$firefox=false) { if($firefox) { //火狐浏览器 $useragent = 'Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:99.0) Gecko/20100101 Firefox/99.0'; } else { //谷歌浏览器 $useragent = 'Mozilla/5.0 .
PHP cURL模拟浏览器登录
04-26
PHP cURL实现模拟登录与采集使用方法详解教程 PDF
php curl模拟浏览器操作 get/post，
04-10
这个curl文件提供vget,vpost,vlogin,可以模拟http&https等绝大部分的请求，功能强大
PHPcurl模拟IP浏览器请求
12-27
php使用curl模拟用户IP地址，与模拟访问浏览器信息，请求代码
HTTP 请求头中的 X-Forwarded-For，X-Real-IP
Erica_1230的专栏
03-02 1281
在使用nginx做反向代理时，我们为了记录整个的代理过程，我们往往会在配置文件中做如下配置: location / { 省略... proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; proxy_pass http://1xx.xxx.xxx.xxx; }...
HTTP 请求头中的 X-Forwarded-For，X-Real-IP（nginx）
热门推荐
xqhys的博客
08-17 3万+
转发：https://www.cnblogs.com/diaosir/p/6890825.html 在使用nginx做反向代理时，我们为了记录整个的代理过程，我们往往会在配置文件中做如下配置: location / {        省略...         proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;       ...
命令行工具--curl
weixin_30586085的博客
09-27 1120
目录 命令：curl 一、简介 二、使用案例 1、基本用法 2、保存访问的网页 3、测试网页返回值 4、指定proxy服务器以及其端口 5、cookie 6、模仿浏览器 7、伪造referer...
curl 模拟浏览器头和refer及Curl模仿http浏览器常见命令
xiaoxuan2015
02-20 6458
linux下shell终端curl的post数据 curl -A "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0)" -e "http://post.html"  -d "2880[]=105&pid=2880&p=最佳&count=1&receipt=1&poll=投票" http://post.php 注释： -A "Mozill
curl命令详解及设置代理服务器
gbz2000的博客
08-02 7070
curl（cURL）是一个用于传输数据的命令行工具，其诞生于20多年前，最早版本是在1998年。curl支持以多种方式检索和发送数据，并输出到标准输出，可以无缝衔接标准unix管道使用。在绝大多数的*nix操作系统上都默认安装。curl支持各种协议，包括 HTTP/HTTPS、FTP和SCP。我们使用 Linux 的 curl 命令，不仅仅可以支持下载文件，还可以支持上传文件，我们通过参数 T 实现上传文件功能。
使用C++和curl读取multipart/x-mixed-replace
06-08
使用 C++ 和 cURL 库读取 multipart/x-mixed-replace 格式的数据流，可以按照以下步骤进行： 1. 初始化 cURL 库，并设置 HTTP GET 请求的 URL。 ```c++ // 初始化 cURL 库 curl_global_init(CURL_GLOBAL_ALL); // 创建一个 cURL 句柄 CURL* curl = curl_easy_init(); // 设置 HTTP GET 请求的 URL curl_easy_setopt(curl, CURLOPT_URL, "http://example.com/stream"); ``` 2. 设置 cURL 句柄的选项，以支持读取 multipart/x-mixed-replace 数据流。 ```c++ // 设置 HTTP GET 请求 curl_easy_setopt(curl, CURLOPT_HTTPGET, 1L); // 设置回调函数，处理接收到的数据流 curl_easy_setopt(curl, CURLOPT_WRITEFUNCTION, WriteCallback); // 设置回调函数的参数，以传递用户自定义数据 curl_easy_setopt(curl, CURLOPT_WRITEDATA, &data); ``` 其中，WriteCallback 是一个用户自定义的回调函数，用于处理接收到的数据流。可以定义为类的静态成员函数，也可以定义为全局函数。其函数原型如下： ```c++ size_t WriteCallback(char* ptr, size_t size, size_t nmemb, void* userdata) ``` 在该回调函数中，需要将接收到的数据流分解为多个 MIME 部分，并对每个部分进行处理。 3. 执行 HTTP GET 请求，并等待服务器响应。 ```c++ // 执行 HTTP GET 请求，并等待服务器响应 CURLcode res = curl_easy_perform(curl); // 检查 HTTP 请求是否成功 if (res != CURLE_OK) { fprintf(stderr, "curl_easy_perform() failed: %s\n", curl_easy_strerror(res)); } ``` 4. 清理 cURL 句柄和 cURL 库。 ```c++ // 清理 cURL 句柄 curl_easy_cleanup(curl); // 清理 cURL 库 curl_global_cleanup(); ``` 下面是一个简单的示例代码，用于读取 multipart/x-mixed-replace 格式的数据流并输出到控制台： ```c++ #include <iostream> #include <curl/curl.h> // 回调函数，用于处理接收到的数据流 static size_t WriteCallback(char* ptr, size_t size, size_t nmemb, void* userdata) { std::cout << "Received data: " << std::string(ptr, size * nmemb) << std::endl; // 返回接收到的数据长度 return size * nmemb; } int main() { // 初始化 cURL 库 curl_global_init(CURL_GLOBAL_ALL); // 创建一个 cURL 句柄 CURL* curl = curl_easy_init(); // 设置 HTTP GET 请求的 URL curl_easy_setopt(curl, CURLOPT_URL, "http://example.com/stream"); // 设置 HTTP GET 请求 curl_easy_setopt(curl, CURLOPT_HTTPGET, 1L); // 设置回调函数，处理接收到的数据流 curl_easy_setopt(curl, CURLOPT_WRITEFUNCTION, WriteCallback); // 执行 HTTP GET 请求，并等待服务器响应 CURLcode res = curl_easy_perform(curl); // 检查 HTTP 请求是否成功 if (res != CURLE_OK) { fprintf(stderr, "curl_easy_perform() failed: %s\n", curl_easy_strerror(res)); } // 清理 cURL 句柄 curl_easy_cleanup(curl); // 清理 cURL 库 curl_global_cleanup(); return 0; } ``` 需要注意的是，这只是一个简单的示例代码，实际应用中还需要根据具体情况进行修改和优化。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值