linux curl命令来路伪装(referer)和浏览器伪装(user-agent)

最新推荐文章于 2024-07-11 10:33:14 发布
最新推荐文章于 2024-07-11 10:33:14 发布
阅读量4.7k 收藏 4
点赞数
文章标签： 网络
原文链接：http://aiezu.com/article/linux_curl_referer_useragent.html
版权

一般的知名站点，都有一套比较完善的机器流量检测系统；它通过流量的IP、流量的来源、使用的浏览设备、访问频次、用户行为等综合分析，来判断当前流量是真实的用户流量，还是机器在爬网站的数据，从而做出是否封禁当前流量的决定。第三方统计站点，也是使用此原理来帮助站长统计用户行文的。
　　而其中的流量来源、使用的浏览设备、甚至流量的IP都是可以伪造的。本文为介绍curl伪装访问来源、和伪装使用的浏览器的方法。伪装来路IP地址，请参考“linux curl命令使用代理服务器”。
 


一、原理说明：


　　浏览器与http服务器是通过http协议通讯的，而http请求头中包含了客户端的一些信息，其中包括：浏览器类型、当前页面的来源页面，cookies等；
　　下面我们来看看一个标准的http请求头后响应头：

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

[root@aiezu.com ~]# curl -v -I --referer http://baidu.com --user-agent 'Chrome/54.0 (Windows NT 10.0)' http://baidu.com/ 

* About to connect() to baidu.com port 80 (#0)

*   Trying 180.149.132.47...

* Connected to baidu.com (180.149.132.47) port 80 (#0)

> HEAD / HTTP/1.1

> User-Agent: Chrome/54.0 (Windows NT 10.0)

> Host: baidu.com

> Accept: */*

> Referer: http://baidu.com

>

< HTTP/1.1 302 Moved Temporarily

HTTP/1.1 302 Moved Temporarily

< Server: bfe/1.0.8.18

Server: bfe/1.0.8.18

< Date: Fri, 02 Dec 2016 03:46:11 GMT

Date: Fri, 02 Dec 2016 03:46:11 GMT

< Content-Type: text/html

Content-Type: text/html

< Content-Length: 161

Content-Length: 161

< Connection: Keep-Alive

Connection: Keep-Alive

< Location: https://www.baidu.com/

Location: https://www.baidu.com/

< Expires: Sat, 03 Dec 2016 03:46:11 GMT

Expires: Sat, 03 Dec 2016 03:46:11 GMT

< Cache-Control: max-age=86400

Cache-Control: max-age=86400

< Cache-Control: private

Cache-Control: private

 

<

* Connection #0 to host baidu.com left intact

　　上面输出可以看到，第7行和第9行就是我们设置的浏览器类型字符串和流量来源页面。而httpd服务端接收到了什么呢？我们这里以http服务段使用的是PHP为例，在站点上做一个“test.php”做为测试页面，PHP的Referer、User-Agent存放在$_SERVER变量中，所以我们的“test.php”文件只需要两行代码：
test.php文件：

1

2

<?php

print_r($_SERVER);

测试返回：

1

2

3

4

5

6

7

8

9

10

11

12

13

14

[root@aiezu tmp]# curl --referer http://baidu.com --user-agent 'Chrome/54.0 (Windows NT 10.0)' http://aiezu.com/test.php

Array

(

    [HTTP_USER_AGENT] => Chrome/54.0 (Windows NT 10.0)

    [HTTP_HOST] => aiezu.com

    [HTTP_ACCEPT] => */*

    [HTTP_REFERER] => http://baidu.com

    [PATH] => /sbin:/usr/sbin:/bin:/usr/bin

...

    [REQUEST_METHOD] => GET

...

    [PHP_SELF] => /test.php

    [REQUEST_TIME] => 1480651125

)

 


二、伪装来路（referer）：


　　什么是来路？从A页面点击进入B页面，那B页面的来路就是A页面的URL。伪装来路十分简单，有两种方法：1、使用上面的“--referer”参数或“-e参数”；2、直接使用“-H”参数设置http头，下面分别介绍两种方法。
1、“-e/--referer”参数方式：

1

2

3

4

5

6

7

# 告诉http服务器，我是从qq.com来的

[root@aiezu.com ~]# curl -e http://qq.com  http://aiezu.com/test.php 2>/dev/null|grep HTTP_REFERER

    [HTTP_REFERER] => http://qq.com

 

# 告诉http服务器，我是从baidu.com搜"aiezu"关键词点进来的

[root@aiezu.com ~]# curl --referer https://www.baidu.com/s?wd=aiezu  http://aiezu.com/test.php 2>/dev/null|grep HTTP_REFERER

    [HTTP_REFERER] => https://www.baidu.com/s?wd=aiezu

 
2、“-H”参数的方式：

1

2

3

# 告诉http服务器，我是从微博过来的

[root@aiezu ~]# curl -H "Referer: http://weibo.com"  http://aiezu.com/test.php 2>/dev/null|grep HTTP_REFERER

    [HTTP_REFERER] => http://weibo.com

 


三、伪装浏览器类型（User-Agent）：


　　首先，我们先找到浏览器对应的“User-Agent”字符串。可以直接在Chrome中的“开发者工具”的“网络”标签查看http请求头获得；也可以在网上搜索获得，如通过百度搜索“微信useragent”、“ie useragent”、“chrome useragent”等。
　　获得对应浏览器的“User-Agent”字符串后，同样可以通过两种方式告诉http服务器我用的浏览器类型：
1、“-A/--user-agent”参数方式：

1

2

3

4

5

6

7

8

9

# 告诉http服务器，我是通过微信内置浏览器访问

[root@aiezu.com ~]# UA='Mozilla/5.0 (iPhone; CPU iPhone OS 8_0 like Mac OS X) AppleWebKit/600.1.4 (KHTML, like Gecko) Mobile/12A365 MicroMessenger/6.0 NetType/WIFI';

[root@aiezu.com ~]# curl -A "$UA" http://aiezu.com/test.php|grep HTTP_USER_AGENT

    [HTTP_USER_AGENT] => Mozilla/5.0 (iPhone; CPU iPhone OS 8_0 like Mac OS X) AppleWebKit/600.1.4 (KHTML, like Gecko) Mobile/12A365 MicroMessenger/6.0 NetType/WIFI

 

# 告诉http服务器，我是通过Chrome浏览器访问

[root@aiezu.com ~]# UA='Mozilla/5.0 (Windows NT 6.2; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/32.0.1667.0 Safari/537.36';

[root@aiezu.com ~]# curl --user-agent "$UA" http://aiezu.com/test.php|grep HTTP_USER_AGENT

    [HTTP_USER_AGENT] => Mozilla/5.0 (Windows NT 6.2; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/32.0.1667.0 Safari/537.36


2、“-H”参数方式：

1

2

3

4

# 告诉网站，我是百度蜘蛛爬取

[root@aiezu.com ~]# UA="Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)";

[root@aiezu.com ~]# curl -H "User-Agent: $UA" http://aiezu.com/a.php|grep HTTP_USER_AGENT

    [HTTP_USER_AGENT] => Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)


四、附录：


参考页面：

YHJ
关注
专栏目录
使用curl 命令 伪造IP，修改xff和referer
weixin_56301399的博客
03-23 8306
原理： X-Forwarded-For:简称XFF头，它代表客户端，也就是HTTP的请求端真实的IP，只有在通过了HTTP 代理或者负载均衡服务器时才会添加该项 HTTP Referer是header的一部分，当浏览器向web服务器发送请求的时候，一般会带上Referer，告诉服务器我是从哪个页面链接过来的 curl介绍： curl 是常用的命令行工具，用来请求 Web 服务器。它的名字就是客户端（client）的 URL 工具的意思。 它的功能非常强大，命令行参数多达几十种。如果熟练的话，完全可
利用php curl更改http头实现伪造IP
07-04
利用php curl更改http头实现伪造IP
php file_get_contents https 请求 伪造user_agent
最新发布
希望我的博客，能帮上你解决学习中工作中所遇到的问题,也期待与您一起探讨技术问题，共同成长。
07-11 327
file_get_contents()函数来发起HTTPS请求时
Linux下curl命令伪装http_referer和user-agent访问
格物致知的专栏 [音视频编解码 网络协议 计算机视觉 计算机图形学 图像理解 语音识别 机器学习 模拟电路 传感器]
03-10 7992
curl是利用URL语法在命令行方式下工作的开源文件传输工具。它被广泛应用在Unix、多种Linux发行版中，并且有DOS和Win32、Win64下的移植版本。一般linux系统默认都自带。最简单的用法是curl https://zhangnq.com/ ，不过可以通过添加参数伪装。 user-agent，很多网站会通过这个来判断是不是机器访问。curl中可以使用--user-agent这个参数...
curl 伪装来路（referer）
weixin_34245169的博客
09-12 1674
curl -e http://vip.hihi.com http://test.image.ok.com/parcel/201704/1491035345125_971038.jpg 1xx.8x.39.48 - - [12/Sep/2017:11:47:03 +0800] "GET /par/201704/1491035345125_971038.jpg HTTP/1.1" 403 688 "h...
惨js对referer来路伪造来路无效
weixin_34343000的博客
02-14 453
这段时间一直研究怎么才能在  webbrowser中设置referer来路来伪造来路进行刷流量，可是最后研究了半个月最终以失败告终，因为现在的统计代码，比较实际的就是cnzz.com和google adsense自带的统计，他们的统计都是通过js文件进行统计的，这样就形成了伪造来路的不成功，具体为什么不成功就让下面的一篇文章说明吧！ 众所周知，服务器端的referer来路是可以伪造的，无论是A...
浏览器伪装成linux,修改浏览器的User-Agent来伪装你的浏览器和操作系统
weixin_39658966的博客
05-14 203
该楼层疑似违规已被系统折叠隐藏此楼查看此楼IE浏览器的设置需要修改注册表User-Agent在注册表的位置[HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Windows\CurrentVersion\Internet Settings\User-Agent\Post Platform] 下，新建字符串值，内容留空，名字为你想在 User-Agent 中加入的字符，这...
PHP中使用CURL伪造来路抓取页面或文件
10-28
在一些情况下，可能还需要添加其他头信息，比如User-Agent，或者使用Cookies进行会话控制，以及处理重定向响应等问题。 综上所述，PHP中的CURL是一个强大的工具，能够帮助我们从服务器上获取所需的数据。通过设置...
详解php curl带有csrf-token验证模拟提交方法
10-18
首先，讲解模拟提交的基础步骤，这包括初始化curl会话、设置必要的选项，如URL、来路（Referer）、用户代理（User-Agent）。来路是指当前请求页面的来源页面，正确的来路设置可以避免一些网站的安全检测。用户代理则...
利用curl抓取远程页面内容的示例代码
10-27
实际应用中，可能需要根据目标网站的需求进行相应调整，例如设置正确的User-Agent。 3. `CURLOPT_REFERER`：设置HTTP Referer头，表示请求是从哪个页面发起的。 4. `CURLOPT_URL`：设置要访问的远程页面URL。 5. `...
使用PHP提供的CURL模块采集任意网页 已经封装一个类超级好用 请拿走
qq51153627的专栏
10-20 1519
<?php /** * 类名称:curl * 1.支持单个get,post请求 * 2.支持多个目标未登录get请求 * 3.支持单个目标并行多个get,post请求 * 4.支持ajax请求 * 5.支持自定义header请求 * 6.支持自定义编码数据请求（该情况比较特殊） * 7.支持代理登陆 * 8.支持自定义来路 * 9.支持自定义超时 * 10.支持文件上传 *
采集专用php基于CURL的HTTP类库php HTTP类库
zzshenchao的博客
02-18 145
<?php /** * 封装基于curl的HTTP类库 * * @file class_httplib.php * @author qaulau@hotmail.coma * @date 2013-8-1 */ class httplib{ private $response; private $response_header; private $response_data; private $response_info; private $response_htt.
Linux企业级项目实践之网络爬虫（13）——处理user-agent
weixin_30950607的博客
08-31 126
User Agent即用户代理，是Http协议中的一部分，属于头域的组成部分，User Agent也简称UA。它是一个特殊字符串头，是一种向访问网站提供你所使用的浏览器类型及版本、操作系统及版本、浏览器内核、等信息的标识。通过这个标识，用户所访问的网站可以显示不同的排版从而为用户提供更好的体验或者进行信息统计。浏览器的UA字串的标准格式：浏览器标识 (操作系统标识; 加密等级标识; 浏览器语言...
linux模拟网页提交,用curl 模拟浏览器进行提交
weixin_33962315的博客
05-15 219
curl-X POST 默认是get 可以改为post--data "data=xxx" 要提交的数据--header "Content-Type:application/json" 增加各种头信息，可以从chrome调试中直接找到http://www.example.com/form.cgi 访问的网站url其他参数--data-urlencode 是data参数的一种替代，可以对data...
windows、mac、linux系统常见浏览器最新的User-Agent大全
热门推荐
wardseptember的博客
05-11 1万+
最新的pc、mac、linux端各浏览器的User-Agent大全（2019.5.11） "user-agent": { "pc": [ "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.75 Safari...
curl 伪造IP
lzm198707的专栏
05-18 854
//随机IP $Ip=rand(10,200).'.'.rand(10,200).'.'.rand(10,200).'.'.rand(10,200); $ch = curl_init(); curl_setopt($ch, CURLOPT_URL, "http://localhost/2.php"); curl_setopt($ch, CURLOPT_HTTPHEADER, array
curl伪造IP
小一的专栏
10-05 7350
前言 一朋友想访问一个网站，发现进一个论坛必须推广链接地址，也就是需要20个不同的ip进行访问，呵呵，这多丢人，为了帮伙计一下，果断用上curl 原理 （1）整理一份ip库出来，网上google一下一大片 （2）修改CURLOPT_HTTPHEADER字段，设置X-FORWARD-FOR和CLIENT-IP字段 整理IP库 我网上随便找了一个链接：htt
linux curl命令
04-01
curl命令是一个用于传输数据的工具，可以通过命令行方式发送和接收数据。它支持多种协议和通信方式，包括HTTP、FTP、SMTP等。 常用curl命令参数： 1. -X：指定HTTP方法，如GET、POST、PUT等； 2. -H：指定HTTP请求头； 3. -d：指定HTTP POST请求的数据； 4. -o：指定输出文件名； 5. -s：静默模式，不显示进度信息； 6. -v：显示HTTP请求和响应的详细信息； 7. -u：指定用户名和密码； 8. -k：允许不验证SSL证书； 9. -L：自动跟随重定向； 10. -I：只获取HTTP响应头。 示例： 1. 发送GET请求：curl http://www.example.com 2. 发送POST请求：curl -X POST -d "username=admin&password=123456" http://www.example.com/login 3. 下载文件：curl -o example.zip http://www.example.com/example.zip 4. 不验证SSL证书：curl -k https://www.example.com 5. 显示HTTP请求和响应的详细信息：curl -v http://www.example.com 6. 获取HTTP响应头：curl -I http://www.example.com
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值