nDPI – 快速入门指南

(注:最近在学习ntop这个工具,其核心是nDPI这个库,关于这个库,官方有一个快速入门指南,不过肯定是英文的,我在阅读过程中,顺便翻译了一下,当然个人知识有限,翻译的有问题的地方,望留言指正,感谢。如果有疑问,建议访问官方文档地址:https://github.com/ntop/nDPI/blob/dev/doc/nDPI_QuickStartGuide.pdf)

nDPI – 快速入门指南

-开源可扩展LGPLv3深度包检测库

nDPI网页

http://www.ntop.org/products/ndpi/

Ntop网址

www.ntop.org

nDPI许可

LGPLv3

目录

nDPI – 快速入门指南

-开源可扩展LGPLv3深度包检测库

1、nDPI介绍

1.1、下载源

2、nDPI库

2.1、编译nDPI源码

 2.2、编译示例ndpiReader源码

2.3、ndpiReader命令行选项

2.4、协议文件

3、示例

3.1、实时捕获模式

3.2、pcap 捕获模式

3.3、协议文件

4、API nDPI

5、开发nDPI自定义协议

5.1、介绍

5.2、创建新的协议

5.3、添加你的协议到nDPI


1、nDPI介绍

nDPI是一个基于OpenDPI的DPI库,目前由ntop维护。

为了给您提供一个跨平台的DPI体验,我们除了支持Unix/Linux外,同时也支持Windows。不仅如此,我们已经通过修改nDPI,使得它更加适合于流量监控应用,我们通过禁用那些对网络流量监控不必要的特性,已经实现了这一功能,因此也加快了DPI引擎的速度。

nDPI允许应用层检测协议,而不管使用的端口是什么。这意味着在非标准端口监测已知协议(例如在80号端口之外的端口检测HTTP协议)或者反过来(例如在80号端口检测Skype流量)都成为了可能。这是由于在当今“端口=应用”的概念不再适用。

在过去的几个月里,我们也已经新增加了几个功能特性,包括:

  1. 示例ndpiReader应用在速度/功能方面和封装支持上都得到了加强。(例如你现在可以对GTP隧道流量进行分析)
  2. 能够将nDPI编译到Linux内核中,以便于你能使用它开发高效的基于内核的模块。
  3. 多方面速度加强,nDPI现在比他的前身(之前的版本)更快。
  4. 添加了许多协议(到目前为止我们支持大约200个协议),其中包括如SAP与Citrix等的“业务”协议,也有像Dropbox与Spotify的“桌面”协议。
  5. 能够去定义基于端口(和端口范围)的协议检测,以便于你能使用经典的基于端口的检测来去补充协议检测。
  6. 为了能让nDPI支持加密的链接,我们已经为SSL(包括服务器与客户端)证书添加了解码器。因此,我们能够使用加密证书来理解弄清楚协议。同时这也能让我们去识别如Citrix Online与Apple ICloud等一般无法检测到的协议。
  7. 能通过使用基于字符串的匹配来支持子协议。

 

1.1、下载源

当你在构建ntop与nProbe时nDPI会自动被下载。当然也没有什么能阻止你将其用作一个独立的DPI库。你可以从https://github.com/ntop/nDPI  下载源码。

 

2、nDPI库

2.1、编译nDPI源码

开始使用nDPI库非常地简单。为了编译这个库,你必须满足一些先决条件比如:


   
   
  1. GUN autotools/libtool
  2. gawk
  3. gcc

为了实现这些,你需要使用以下命令来安装他们:

command

一旦你完成了上面的安装,你就能使用以下命令编译nDPI源码:

command

 2.2、编译示例ndpiReader源码

       开始使用ndpiReader也很简单。为了编译它你必须使用以下命令:

2.3、ndpiReader命令行选项

              这个示例ndpiReader应用在速度/功能分析方面和封装支持上均能被使用。特别的是,ndpiReader能够指定很多命令行选项。

下面列举了可使用的命令选项和每一个选项的简要简要介绍:

 

-i<file.pcap |device>

       这项命令用于指定一个pcap文件来读取数据包,或者指定一个用于实时捕获的设备。而且只能指定两者当中的一个。

-f<BPF filter>

       指定一个BPF过滤器用来过滤选定的流量。它只允许nDPI接受那些和过滤器匹配的数据包(如果被指定的话)。

-s<duration>

       定义了捕获持续时间,以秒为单位,仅用于实时流量捕获。

-p<file.protos>

       指定了一个协议文件(例如protos.txt)来扩展对子协议和基于端口协议检测的支持。尤其需要小心的是,协议一旦被定义到protos文件中就会覆盖之前的已经存在的协议。

-l<num loops>

       检测循环数(仅用与测试)

-d

       这个标志会禁用nDPI协议猜测,仅使用DPI。

-t

       打印ndpiReader帮助

-v<1|2>

       使用这个标志时,ndpiReader会生成详细的输出,这个输出能被用于调试其性能。数字1是显示带有“未知协议”数据包的最低等级,而2级会显示地更加详细,两者只能指定其一。

 

2.4、协议文件

       nDPI能够通过基于字符串的匹配支持子协议。这是由于许多新的子协议比如Apple iCloud/iMessage,WhatsApp和许多其他的使用HTTP(s)的协议能够通过解码SSL证书主机或者HTTP“Host:”被检测到。因此我们决定将一个基于流行的Aho-Corasick 算法的高效字符匹配库嵌入到nDPI中,用于数十万子字符的高效匹配(即在普通硬件上能足够快地支持10Gb的流量)。

       你可以在运行时通过使用一个用以下格式的协议文件来指定子协议:

       除此之外,你也能使用以下格式来指定一个基于端口的检测:

       你可以使用ndpiReader这个应用(使用 –p 选项)来测试你的自定义配置。或者你可以使用ndpi_load_protocls_file() nDPI API调用来增强你自己的应用。

 

3、示例

在这一节我们会展示一些ndpiReader的使用范例。

 

3.1、实时捕获模式

       下面这个例子将会展示ndpiReader的实时捕获模式。使用参数-i指定接口设备,参数-s 指定实时捕获持续时间。

 

3.2、pcap 捕获模式

       创建一个pcap文件最简单的方法就是通过使用tcpdump命令,就像下面这个例子:

       一旦pcap文件被创建,你就能启动ndpiReader,使用参数-I :

 

3.3、协议文件

       为了阐明协议文件的特性,我们现在将解释怎样让你识别来自ntop.org的流。

       例如我们可以通过编辑protos.txt文件来实现它:

       一旦这个协议文件已经被修改,你可以启动ndpiReader,使用参数 –p:

 

 

4、API nDPI

       在这一节中nDPI API是重点。

       示例ndpiReader现在有一个基础的例子用来展示如何初始化这个库。需要一个已经编译好的库和一个合适配置的Makefile(即示例Makefile)。

       想要在你的应用中开始使用nDPI的API,除了你自己的包含外,必须也添加下面这个包含文件:

#include"dpi_main.h"
   
   

       这个库可以像下面这样初始化:

1、声明协议位掩码,初始化检测模块:

这个函数允许你初始化检测模块。字段有如下含义:

  • U_int32_t ticks_per_second

每秒时间戳分辨率(比如1000每毫秒分辨率)。

  • void*(*_ndpi_malloc)(unsigned long size);

指向一个内存分配器的函数指针。

  • void*(*_ndpi_free)(void*prt);

指向一个调试输出函数的函数指针,在生产环境下置空(NULL)

 

2、通过适当的宏并将他们设置到检测模块中来启用所有协议(需要注意的是,如果你愿意你也可以启用这些协议的子集)。

这个函数能让你设置已经定义到检测模块中的协议位掩码。

 

3、为了加载一个存在的协议文件,你必须使用如下函数:

dpi_load_protocols_file(ndpi_struct, _protoFilePath);

 

4、每当从你的pcap文件或者入口设备中捕获到流时,它们可以通过使用以下函数分析:

这些字段有以下的含义:

  • struct ndpi_detection_module_struct*ndpi_struct;

检测模块。

  • struct ndpi_flow_struct*flow;

指向连接状态机的流空指针。

  • const unsigned char*packet;

这个packet作为一个无符号的字符指针,长度为packetlen。这个指针必须指向第三层(IP报头)。

  • const unsigned short packetlen;

packetlen包的长度。

  • const U_int32_t current_tickt;

数据包的当前时间戳。

  • struct ndpi_id_struct*src;

指向源订阅状态机的空指针。

  • struct ndpi_id_struct*dst;

指向目的订阅状态机的空指针。

 

5、一旦流被分析后,有必要通过下面的函数来摧毁检测模块。

 ndpi_exit_detection_module(ndpi_struct, free_wrapper);
   
   

这些字段有以下含义:

  • struct ndpi_detection_module_struct*ndpi_struct;

需要被消除的检测模块。

  • void*(*_ndpi_free)(void*prt);

指向一个内存释放函数的函数指针。

 

  如需进一步的信息,我们建议可以阅读以下文件:

协议解析器文件被包含在nDPI/src/protocols 目录下。

 

 

5、开发nDPI自定义协

在这一节中,我们将展示将你的协议包含在nDPI中的方法。

5.1、介绍

       每个nDPI协议都会作为一个入口函数被实现,在运行时通过nDPI被使用。nDPI有几个协议可以被用来当作这个方面的例子。下面,我们列出了一些主要的概念,如果你打算开发一个nDPI协议,这些是你必须知道的。

5.2、创建新的协议

       每一个协议都必须在下面的头文件中有一个对应的#define:

       例如:

#define NDPI_PROTOCOL_MY_PROTOCOL     171

NDPI_PROTOCOL_MY_PROTOCOL是这个协议的名字,171是这个协议的ID,且必须是独一无二的。

       协议被定义好了之后,你必须创建一个协议源文件,就像:

包括以下内容:

在里面,需要定义一个入口函数,如:

和一个检测核心函数,用来处理一个流的数据包,包括以下内容:

 

和一个特定的函数用来报告关于协议正确的识别信息,如:

5.3、添加你的协议到nDPI

       协议被创建之后,你必须在下面的头文件中声明你的入口函数:

包括如下内容:

每个协议必须与一个NDPI_SELECTION_BITMASK相关联。NDPI_SELECTION_BITMASK的完整列表被包含在文件:

在为你的协议选择了一个确定的位掩码之后,你必须通知nDPI新协议的存在,通过编辑文件:

你需要将你的协议添加到如下函数中:

**注:此文档为学习ndpi所用,为了防止文章链接丢失才转载的。 原文作者:A_lber_t 文章地址:https://blog.csdn.net/A_lber_t/article/details/89552332 请尊重原作者权益,若侵权,请联系我删除**
  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值