如何在Linux上从命令行嗅探HTTP流量

假设你出于某个原因而想嗅探网络上的实时HTTP Web流量(比如HTTP请求和回应)。比如说,你可能在测试网站服务器的试验性功能,或者在调试Web应用程序或充分利用REST的服务,抑或是你想要为PAC(代理自动配置)排查故障,或检查从某个网站偷偷下载的任何恶意软件文件。不管出于什么原因,嗅探HTTP流量大都有帮助,对系统管理员、开发人员、甚至最终用户来说都是如此。

虽然tcpdump等数据包嗅探工具广泛用于实时的数据包转储,你还是需要建立合理的过滤机制,以便只捕获HTTP流量;即使那样,通常无法很容易地在HTTP协议层面解读它们的原始输出。ngxtop等实时网站服务器日志分析工具提供了人类可读的实时网站流量痕迹,但只有在完全访问实时网站服务器日志的情况下才适用。

虽然拥有tcpdump之类的嗅探工具不错,但只针对HTTP流量。实际上,httpry正是我们所需的一款HTTP数据包嗅探工具。httpry可捕获网络上的实时HTTP数据包,并且以一种人类可读的格式,显示HTTP协议层面的内容。我们在本教程中将看看如何使用httpry来嗅探HTTP流量。

将httpry安装到Linux上

在基于Debian的系统上(Ubuntu或Linux Mint),httpry并未出现在基本软件库中。所以要使用其源代码来构建它:

1.  $ sudo apt-get install gcc make git libpcap0.8-dev 

2.  $ git clone https://github.com/jbittel/httpry.git 

3.  $ cd httpry 

4.  $ make 

5.  $ sudo make install

在Fedora、CentOS或RHEL上,你可以使用yum来安装httpry,如下所示。在CentOS/RHEL上,先启用EPEL软件库,再运行yum。

1.  $ sudo yum install httpry

如果你仍想在基于RPM的系统上使用源代码来构建httpry,很容易做到这一点,只要:

1.  $ sudo yum install gcc make git libpcap-devel 

2.  $ git clone https://github.com/jbittel/httpry.git 

3.  $ cd httpry 

4.  $ make 

5.  $ sudo make install

httpry的基本用法

httpry的基本使用场合如下:

1.  $ sudo httpry -i <network-interface>

httpry随后侦听某个特定的网络接口,并实时显示捕获的HTTP请求/回应。

不过在大多数情况下,由于大量数据包进进出出,你会看到快速滚动的输出结果。所以,你应该保存已捕获的HTTP数据包以便离线分析。为此,使用“-b”或“-o”选项。“-b”选项让你可以将原始的HTTP数据包保存到二进制文件中,然后可以使用httpry回放HTTP数据包。另一方面,“-o”选项将httpry人类可读的输出结果保存到文本文件中。

想把原始的HTTP数据包保存到二进制文件中:

1.  $ sudo httpry -i eth0 -b output.dump

回放已保存的HTTP数据包:

1.  $ httpry -r output.dump

请注意:当你使用“-r”选项读取转储文件时,就不需要根权限。

想将httpry的输出结果保存到文本文件中:

1.  $ sudo httpry -i eth0 -o output.txt

httpry的高级用法

如果你只想监视特定的HTTP方法(比如GET、POST、PUT、HEAD和CONNECT等),可以使用“-m”选项:

1.  $ sudo httpry -i eth0 -m get,head

如果你下载了httpry的源代码,就会注意到源代码随带一系列有助于分析httpry输出结果的Perl脚本。这些脚本位于httpry/scripts/plugins目录中。如果你想编写自定义的脚本来分析httpry的输出结果,这些脚本就是可供参考的好例子。其中一些功能如下:

•hostnames:显示独特主机名称和主机数量的列表。

•find_proxies:检测网站代理系统。

•search_terms:查找并计数搜索服务中输入的搜索词语。

•content_analysis:查找含有特定关键词的URL。

•xml_output:将输出结果转换成XML格式。

•log_summary:生成日志摘要。

•db_dump:将日志文件数据转储到MySQL数据库中。

在使用这些脚本之前,先使用“-o”选项运行httpry一段时间。一旦你获得了输出文件,使用下面这个命令,运行一次脚本:

1.  $ cd httpry/scripts 

2.  $ perl parse_log.pl -d ./plugins <httpry-output-file>

你可能会遇到几个插件的警告信息。比如说,如果你没有创建带DBI接口的MySQL数据库,db_dump插件就可能会出错。要是某个插件未能初始化,它会自动被禁用。所以,你可以忽视那些警告信息。

在parse_log.pl完成之后,你会在httpry/scripts目录下看到许多分析结果(*.txt/xml)。比如说,log_summary.txt看起来就像下面这样:

总而言之,如果你碰到需要解读实时HTTP数据包的情况,httpry就帮得上大忙。普通的Linux用户可能不常解读实时HTTP数据包,但防患未然总归不是件坏事。你觉得这款工具如何?

英文:http://xmodulo.com/2014/08/sniff-http-traffic-command-line-linux.html

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
### 回答1: 使用Scapy嗅探HTTP流量的方法如下: 1. 安装Scapy:在终端或命令行中输入 "pip install scapy" 即可安装。 2. 启动Scapy:在终端或命令行中输入 "scapy" 并回车,进入Scapy交互界面。 3. 定义过滤规则:使用Scapy的 sniff() 函数来嗅探网络流量,并通过filter参数指定嗅探的过滤规则,如 "sniff(filter="tcp port 80")" 表示只嗅探端口为80的TCP流量。 4. 解析HTTP流量:在Sniff函数中,可以通过 prn 参数指定回调函数,在回调函数中判断每个报文是否为HTTP流量,并对其进行解析。 以上是大致的嗅探HTTP流量的步骤,如需详细示例代码,可以参考Scapy官方文档。 ### 回答2: 使用Scapy进行HTTP流量嗅探可以通过以下步骤完成: 1. 导入必要的库和模块:导入Scapy库以及HTTP模块。 2. 创建嗅探器:使用Scapy的sniff()函数创建一个嗅探器,设置嗅探器过滤条件为HTTP流量。 3. 捕获HTTP请求和响应:在嗅探器的回调函数中,使用匹配条件过滤出HTTP请求和响应数据包。 4. 解析HTTP数据包:从每个HTTP请求和响应数据包中提取所需的信息,如请求方法、URL、头部字段、实体内容等。 5. 分析和处理数据:根据需要进行数据的分析和处理,可以将解析的数据保存到文件、数据库或进行进一步的操作。 以下是一个示例代码: ```python from scapy.all import * from scapy.layers.http import HTTPRequest, HTTPResponse def packet_callback(packet): if packet.haslayer(HTTPRequest): http_request = packet[HTTPRequest] print(f"HTTPRequest: {http_request.Method.decode()} {http_request.Path.decode()}") if packet.haslayer(HTTPResponse): http_response = packet[HTTPResponse] print(f"HTTPResponse: {http_response.Status_Code.decode()} {http_response.Reason_Phrase.decode()}") sniff(filter="tcp port 80", prn=packet_callback, store=0) ``` 上述代码使用了Scapy的sniff()函数创建了一个嗅探器,设置过滤条件为端口为80的TCP流量。在回调函数中,使用haslayer()函数检测数据包中是否包含HTTP请求或响应,并通过调用相应的字段解析函数提取所需信息。 运行该代码后,你将能够捕获并输出所有通过端口80的HTTP请求和响应的相关信息。你也可以根据自己的需要对数据进行进一步处理。 ### 回答3: 使用Scapy嗅探HTTP流量有以下几个步骤: 1. 导入必要的模块和类: 首先,需要导入必要的模块和类来使用Scapy库。例如,可以导入`scapy.all`模块并创建一个Sniffer对象。 2. 设置过滤器: 设置过滤器可以筛选出需要嗅探HTTP流量。可以使用BPF过滤器语法来定义需要过滤的流量。例如,`"tcp port 80"`表示过滤HTTP流量。 3. 开始嗅探: 创建Sniffer对象,并设置参数,如网络接口和过滤器。然后,执行sniff()方法开始嗅探流量。 4. 解析流量: Scapy通过回调函数来处理嗅探到的流量数据包。可以自定义回调函数来解析HTTP流量,并对其进行相应的操作。通常,解析HTTP流量的时候,需要判断数据包中的协议类型与端口号是否为HTTP。如果是HTTP流量,可以使用`TCP`和`Raw`类来获取HTTP请求和响应的详细信息。 5. 分析和处理流量: 当解析出HTTP请求和响应的详细信息后,可以对其进行进一步的分析和处理。可以提取出相关字段,如请求的URL、请求方法、响应码等,以及相应的报文体。根据需要,可以将这些信息输出到控制台、保存到文件或进行其他操作。 需要注意的是,Scapy在嗅探流量时需要有足够的权限。在Linux中,可以使用root权限执行脚本;在Windows中,可以使用管理员权限运行脚本。 以上是使用Scapy嗅探HTTP流量的基本步骤,根据具体需求还可以进行更多的操作和处理。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值