Hfinger：一款针对恶意软件HTTP请求的指纹识别工具

关于Hfinger

Hfinger是一款功能强大的HTTP请求指纹识别工具，该工具使用纯Python开发，基于Tshark实现其功能，可以帮助广大研究人员对恶意软件的 HTTP 请求进行指纹识别。

该工具的主要目标是提供恶意软件请求的唯一表示（指纹），以帮助识别。这里的“唯一”指的是每个指纹仅出现在特定的恶意软件家族中，但一个家族可以拥有多个指纹。Hfinger通过简化请求的形式来表示请求，但仍保持人类可读性，而不是打印整个请求。

Hfinger不仅可用于手动恶意软件分析，还可用于沙盒系统或SIEM（安全信息与事件管理）中。生成的指纹有助于对请求进行分组，精确定位到特定恶意软件家族，识别某个家族的不同操作，或发现其他安全系统忽略的未知恶意请求，而这些请求具有相同的指纹。

运行机制

本项目的基本假设是，不同恶意软件家族的HTTP请求在某种程度上是独特的，因此可以通过指纹提取来提供某种识别方式。Hfinger保留了某些Header结构和值的信息，以便进一步分析。

在对恶意软件的HTTP请求和Header进行分析后，我们识别出了一些最具辨识度的请求部分，包括：

1、请求方法

2、协议版本

3、Header顺序

4、常见Header的值

5、Payload长度、熵值及是否包含非ASCII字符

此外，还考虑了请求URL的一些标准特性。所有这些部分被转换为一组特征，这些特征会被转化为可变长度的表示形式，即实际的指纹。根据报告模式，不同的特征被用于指纹化请求。

工具要求

Python>=3.3

Tshark>=2.2.0

fnvhash>=0.1.0

python-magic>=0.4.18

工具安装

由于该工具基于Python 3开发，因此我们首先需要在本地设备上安装并配置好最新版本的Python 3环境。

源码安装

接下来，广大研究人员可以直接使用下列命令将该项目源码克隆至本地：

git clone https://github.com/CERT-Polska/hfinger.git

然后切换到项目目录中，使用pip命令和项目提供的requirements.txt安装该工具所需的其他依赖组件：

cd hfinger

pip install -r requirements.txt

PyPI安装

pip install hfinger

工具使用

安装完成后，我们可以直接在命令行中使用“hfinger”命令调用该工具，或通过“python -m hfinger”命令以Python模块的形式使用Hfinger，例如：

foo@bar:~$ hfinger -f /tmp/test.pcap

[{"epoch_time": "1614098832.205385000", "ip_src": "127.0.0.1", "ip_dst": "127.0.0.1", "port_src": "53664", "port_dst": "8080", "fingerprint": "2|3|1|php|0.6|PO|1|us-ag,ac,ac-en,ho,co,co-ty,co-le|us-ag:f452d7a9/ac:as-as/ac-en:id/co:Ke-Al/co-ty:te-pl|A|4|1.4"}]

工具帮助信息

usage: hfinger [-h] (-f FILE | -d DIR) [-o output_path] [-m {0,1,2,3,4}] [-v]

               [-l LOGFILE]

 

Hfinger - fingerprinting malware HTTP requests stored in pcap files

 

optional arguments:

-h, --help：显示此帮助信息并退出；

-f FILE, --file FILE：读取单个pcap文件；

-d DIR, --directory DIR：从目录DIR中读取pcap文件；

-o output_path, --output-path output_path：输出目录的路径；

-m {0,1,2,3,4}, --mode {0,1,2,3,4}：指纹报告模式；

0 - 与模式2生成的指纹和冲突数量相似，但使用的特征更少，

1 - 展示所有设计的特征，但比模式0、2和4稍多冲突，

2 - 最优模式（默认模式），

3 - 生成最少指纹，但冲突最多，

4 - 指纹熵值最高，但生成的指纹比模式0-2稍多

-v, --verbose：报告请求中的非标准值信息；（如非ASCII字符、无CRLF标记、配置列表中不存在的值）。如果不使用--logfile (-l)，则输出到标准错误；

-l LOGFILE, --logfile LOGFILE：在详细模式下的输出日志文件，启用时隐含使用-v或--verbose选项；

工具输出

您必须提供 pcap 文件的路径 (-f)，或包含 pcap 文件的目录 (-d)。输出为 JSON 格式。它将使用源文件的名称打印到标准输出或提供的目录 (-o)：

hfinger -f example.pcap -o /tmp/pcap

输出内容将被保存至：

/tmp/pcap/example.pcap.json

在Python应用程序中使用Hfinger

from hfinger.analysis import hfinger_analyze

 

pcap_path = "SPECIFY_PCAP_PATH_HERE"

reporting_mode = 4

print(hfinger_analyze(pcap_path, reporting_mode))

许可证协议

本项目的开发与发布遵循GPL-3.0开源许可协议。

项目地址

Hfinger：【GitHub传送门】

参考资料

Entropy | Free Full-Text | Hfinger: Malware HTTP Request Fingerprinting

https://lcamtuf.coredump.cx/p0f3/

https://github.com/0x4D31/fatt

https://github.com/cisco/mercury

venv — Creation of virtual environments — Python 3.12.5 documentation