opendpi 源码分析（二）

最新推荐文章于 2024-03-16 09:42:21 发布
最新推荐文章于 2024-03-16 09:42:21 发布
阅读量1.7k 收藏 3
点赞数
分类专栏： OPENDPI

opendpi 源码分析（二）

先介绍opendpi如何设置各个协议的处理，然后介绍如何处理每一个包，最后是软件的流程图。

第一：首先看下要用到的重要的宏

View Code 
     
     

      
      #define
      
       IPOQUE_SAVE_AS_BITMASK(bitmask,value) (bitmask)=(((IPOQUE_PROTOCOL_BITMASK)1)<<(value)) 
      
      

      
      #define
      
       IPOQUE_BITMASK_COMPARE(a,b)     ((a) & (b)) 
      
      

      
      #define
      
       IPOQUE_BITMASK_MATCH(x,y)       ((x) == (y)) 
      
      



      
      #define
      
       IPOQUE_BITMASK_COMPARE(a,b)    ((a) & (b)) 
      
      

      
      #define
      
       IPOQUE_COMPARE_PROTOCOL_TO_BITMASK(bmask,value) IPOQUE_BITMASK_COMPARE(bmask,IPOQUE_CONVERT_PROTOCOL_TO_BITMASK(value)) 
      
      


      
      #define
      
       IPOQUE_CONVERT_PROTOCOL_TO_BITMASK(p) ( ((IPOQUE_PROTOCOL_BITMASK)1) << (p) ) 
      
      

      
      #define
      
       IPOQUE_ADD_PROTOCOL_TO_BITMASK(bmask,value) IPOQUE_BITMASK_ADD(bmask,IPOQUE_CONVERT_PROTOCOL_TO_BITMASK(value)) 
      
      


      
      #define
      
       IPOQUE_BITMASK_ADD(a,b)    (a)|=(b) 
      
      


      
      #define
      
       IPOQUE_BITMASK_SET(a,b)    (a)=(b) 
      
      

      
      #define
      
       IPOQUE_DEL_PROTOCOL_FROM_BITMASK(bmask,value) IPOQUE_BITMASK_DEL(bmask,IPOQUE_CONVERT_PROTOCOL_TO_BITMASK(value)) 
      
      

      
      #define
      
       IPOQUE_BITMASK_DEL(a,b) (a)=((a) & (~(b))) 
      
      


      
      #define
      
       IPOQUE_BITMASK_SET_ALL(a)    (a) = ((IPOQUE_PROTOCOL_BITMASK)0xFFFFFFFFFFFFFFFFULL) 
      
      


      
      #define
      
       IPOQUE_BITMASK_RESET(a)        (a) = 0

然后是标识协议掩码的数据结构：

复制代码 
    
    

     
     #if
     
      IPOQUE_MAX_SUPPORTED_PROTOCOLS >= 128 
     
     
        typedef 
     
     struct
     
      ipoque_protocol_bitmask_struct { 
                u64 bitmask[
     
     3
     
     ]; 
        } ipoque_protocol_bitmask_struct_t; 

     
     #define
     
      IPOQUE_PROTOCOL_BITMASK struct ipoque_protocol_bitmask_struct 
     
     


     
     #elif
     
      IPOQUE_MAX_SUPPORTED_PROTOCOLS >= 64 
     
     
        typedef 
     
     struct
     
      ipoque_protocol_bitmask_struct { 
                u64 bitmask[
     
     2
     
     ]; 
        } ipoque_protocol_bitmask_struct_t; 

     
     #define
     
      IPOQUE_PROTOCOL_BITMASK struct ipoque_protocol_bitmask_struct 
     
     


     
     #if
     
      IPOQUE_MAX_SUPPORTED_PROTOCOLS >= 128 
     
     
        typedef 
     
     struct
     
      ipoque_protocol_bitmask_struct { 
                u64 bitmask[
     
     3
     
     ]; 
        } ipoque_protocol_bitmask_struct_t; 

     
     #define
     
      IPOQUE_PROTOCOL_BITMASK struct ipoque_protocol_bitmask_struct 
     
     


     
     #elif
     
      IPOQUE_MAX_SUPPORTED_PROTOCOLS >= 64 
     
     
        typedef 
     
     struct
     
      ipoque_protocol_bitmask_struct { 
                u64 bitmask[
     
     2
     
     ]; 
        } ipoque_protocol_bitmask_struct_t; 

     
     #define
     
      IPOQUE_PROTOCOL_BITMASK struct ipoque_protocol_bitmask_struct 
     
     


     
     #else
     
      
     
     


     
     #define
     
      IPOQUE_PROTOCOL_BITMASK u64 
     
     


     
     #endif
     
      
     
     


#ifndef u64 

     
     #define
     
      u64     unsigned long long 
     
     

     
     #endif
     
      
     
     
#ifndef u32 

     
     #define
     
      u32     unsigned int 
     
     

     
     #endif
     
      
     
     
#ifndef u16 

     
     #define
     
      u16     unsigned short 
     
     

     
     #endif
     
      
     
     
#ifndef u8 

     
     #define
     
      u8      unsigned char 
     
     

     
     #endif
复制代码

我开始的时候一直以为 IPOQUE_PROTOCOL_BITMASK是整型，没想到是个结构体。

在函数ipoque_set_protocol_detection_bitmask2中开启了对某个固定协议的处理，比如这样就开启了所有协议来检测包：

    
    

     
     //
     
      enable all protocols
     
     

     
             IPOQUE_BITMASK_SET_ALL(all);
        ipoque_set_protocol_detection_bitmask2(ipoque_struct, 
     
     &
     
     all);

在具体的一种协议的实现中是这样处理的，比如YAHOO：

View Code 
     
     

      
      #ifdef IPOQUE_PROTOCOL_YAHOO
        
      
      if
      
       (IPOQUE_COMPARE_PROTOCOL_TO_BITMASK(
      
      *
      
      detection_bitmask, IPOQUE_PROTOCOL_YAHOO) 
      
      !=
      
       
      
      0
      
      ) {
                ipoque_struct
      
      ->
      
      callback_buffer[a].func 
      
      =
      
       ipoque_search_yahoo;
                ipoque_struct
      
      ->
      
      callback_buffer[a].ipq_selection_bitmask 
      
      =
      
       IPQ_SELECTION_BITMASK_PROTOCOL_TCP_OR_UDP;

                IPOQUE_SAVE_AS_BITMASK(ipoque_struct
      
      ->
      
      callback_buffer[a].detection_bitmask, IPOQUE_PROTOCOL_UNKNOWN);
                IPOQUE_ADD_PROTOCOL_TO_BITMASK(ipoque_struct
      
      ->
      
      callback_buffer[a].detection_bitmask, IPOQUE_PROTOCOL_YAHOO);
                IPOQUE_SAVE_AS_BITMASK(ipoque_struct
      
      ->
      
      callback_buffer[a].excluded_protocol_bitmask, IPOQUE_PROTOCOL_YAHOO);

                a
      
      ++
      
      ;
        }

而函数ipoque_search_yahoo就是存在于目录protocol中，对于YAHOO的具体检查，实现如下：

View Code 
     
     

      
      void
      
       ipoque_search_yahoo(
      
      struct
      
       ipoque_detection_module_struct 
      
      *
      
      ipoque_struct)
{
        
      
      struct
      
       ipoque_packet_struct 
      
      *
      
      packet 
      
      =
      
       
      
      &
      
      ipoque_struct
      
      ->
      
      packet;
        
      
      struct
      
       ipoque_flow_struct 
      
      *
      
      flow 
      
      =
      
       ipoque_struct
      
      ->
      
      flow;


        IPQ_LOG(IPOQUE_PROTOCOL_YAHOO, ipoque_struct, IPQ_LOG_DEBUG, 
      
      "
      
      search yahoo\n
      
      "
      
      );

        
      
      if
      
       (packet
      
      ->
      
      payload_packet_len 
      
      >
      
       
      
      0
      
       
      
      &&
      
       flow
      
      ->
      
      yahoo_detection_finished 
      
      ==
      
       
      
      0
      
      ) {
                
      
      if
      
       (packet
      
      ->
      
      tcp 
      
      !=
      
       NULL 
      
      &&
      
       packet
      
      ->
      
      tcp_retransmission 
      
      ==
      
       
      
      0
      
      ) {
#ifdef IPOQUE_PROTOCOL_HTTP
                        
      
      if
      
       (packet
      
      ->
      
      detected_protocol 
      
      ==
      
       IPOQUE_PROTOCOL_UNKNOWN
                                
      
      ||
      
       packet
      
      ->
      
      detected_protocol 
      
      ==
      
       IPOQUE_PROTOCOL_HTTP)

      
      #else
      
      
                        
      
      if
      
       (packet
      
      ->
      
      detected_protocol 
      
      ==
      
       IPOQUE_PROTOCOL_UNKNOWN)

      
      #endif
      
      
                        {
                                ipoque_search_yahoo_tcp(ipoque_struct);
                        }
                } 
      
      else
      
       
      
      if
      
       (packet
      
      ->
      
      udp 
      
      !=
      
       NULL) {
                        ipoque_search_yahoo_udp(ipoque_struct);
                }
        }
        
      
      if
      
       (packet
      
      ->
      
      payload_packet_len 
      
      >
      
       
      
      0
      
       
      
      &&
      
       flow
      
      ->
      
      yahoo_detection_finished 
      
      ==
      
       
      
      2
      
      ) {
                
      
      if
      
       (packet
      
      ->
      
      tcp 
      
      !=
      
       NULL 
      
      &&
      
       packet
      
      ->
      
      tcp_retransmission 
      
      ==
      
       
      
      0
      
      ) {
                        ipoque_search_yahoo_tcp(ipoque_struct);
                }
        }
}

这个函数检查了YAHOO是基于UDP还是TCP，还有没有payload长度是不是等于0.

这样就建立了一个匹配的模式数据库。

第二:对于每一个包，在这个函数中从pcap文件中获得：

    
    

     
     //
     
      executed for each packet in the pcap file
     
     

     
     static
     
      
     
     void
     
      pcap_packet_callback(u_char 
     
     *
     
      args, 
     
     const
     
      
     
     struct
     
      pcap_pkthdr 
     
     *
     
     header, 
     
     const
     
      u_char 
     
     *
     
      packet)
然后在函数 
    
    

     
      
     
     //
     
      here the actual detection is performed
     
     

     
                     protocol 
     
     =
     
      ipoque_detection_process_packet(ipoque_struct, ipq_flow, (uint8_t 
     
     *
     
     ) iph, ipsize, time, src, dst);

这是对每个包的具体处理，而返回值就是我们所想要知道的，这个包所属于的协议号。

在函数 ipoque_detection_process_packet中最重要的是如下的代码：

复制代码 
    
    

     
        
     
     if
     
      (flow 
     
     !=
     
      NULL 
     
     &&
     
      ipoque_struct
     
     ->
     
     packet.tcp 
     
     !=
     
      NULL) {
                
     
     if
     
      (ipoque_struct
     
     ->
     
     packet.payload_packet_len 
     
     !=
     
      
     
     0
     
     ) {
                        
     
     for
     
      (a 
     
     =
     
      
     
     0
     
     ; a 
     
     <
     
      ipoque_struct
     
     ->
     
     callback_buffer_size_tcp_payload; a
     
     ++
     
     ) {
                                
     
     if
     
      ((ipoque_struct
     
     ->
     
     callback_buffer_tcp_payload[a].ipq_selection_bitmask 
     
     &
     
      ipq_selection_packet) 
     
     ==
     
     
                                        ipoque_struct
     
     ->
     
     callback_buffer_tcp_payload[a].ipq_selection_bitmask
                                        
     
     &&
     
      IPOQUE_BITMASK_COMPARE(ipoque_struct
     
     ->
     
     flow
     
     ->
     
     excluded_protocol_bitmask,
                                                                                          ipoque_struct
     
     ->
     
     callback_buffer_tcp_payload[a].excluded_protocol_bitmask) 
     
     ==
     
      
     
     0
     
     
                                        
     
     &&
     
      IPOQUE_BITMASK_COMPARE(ipoque_struct
     
     ->
     
     callback_buffer_tcp_payload[a].detection_bitmask,
                                                                                          detection_bitmask) 
     
     !=
     
      
     
     0
     
     ) {
                                        ipoque_struct
     
     ->
     
     callback_buffer_tcp_payload[a].func(ipoque_struct);
                                }
                        }
复制代码

首先判断了payload，而ipq_selection_packet依赖于下面的这些判断：

View Code 
     
     

      
       
      
      /*
      
       build ipq_selction packet bitmask 
      
      */
      
      
        ipq_selection_packet 
      
      =
      
       IPQ_SELECTION_BITMASK_PROTOCOL_COMPLETE_TRAFFIC;
        
      
      if
      
       (ipoque_struct
      
      ->
      
      packet.iph 
      
      !=
      
       NULL) {
                ipq_selection_packet 
      
      |=
      
       IPQ_SELECTION_BITMASK_PROTOCOL_IP 
      
      |
      
       IPQ_SELECTION_BITMASK_PROTOCOL_IPV4_OR_IPV6;

        }
        
      
      if
      
       (ipoque_struct
      
      ->
      
      packet.tcp 
      
      !=
      
       NULL) {
                ipq_selection_packet 
      
      |=
      
      
                        (IPQ_SELECTION_BITMASK_PROTOCOL_INT_TCP 
      
      |
      
       IPQ_SELECTION_BITMASK_PROTOCOL_INT_TCP_OR_UDP);

        }
        
      
      if
      
       (ipoque_struct
      
      ->
      
      packet.udp 
      
      !=
      
       NULL) {
                ipq_selection_packet 
      
      |=
      
      
                        (IPQ_SELECTION_BITMASK_PROTOCOL_INT_UDP 
      
      |
      
       IPQ_SELECTION_BITMASK_PROTOCOL_INT_TCP_OR_UDP);
        }
        
      
      if
      
       (ipoque_struct
      
      ->
      
      packet.payload_packet_len 
      
      !=
      
       
      
      0
      
      ) {
                ipq_selection_packet 
      
      |=
      
       IPQ_SELECTION_BITMASK_PROTOCOL_HAS_PAYLOAD;
        }

        
      
      if
      
       (ipoque_struct
      
      ->
      
      packet.tcp_retransmission 
      
      ==
      
       
      
      0
      
      ) {
                ipq_selection_packet 
      
      |=
      
       IPQ_SELECTION_BITMASK_PROTOCOL_NO_TCP_RETRANSMISSION;

        }

excluded_protocol_bitmask是设置不需要检查的协议，我们上面已经设置为all。

detection_bitmask通过这样初始化：

View Code 
     
     

      
      #define
      
       IPOQUE_CONVERT_PROTOCOL_TO_BITMASK(p) ( ((IPOQUE_PROTOCOL_BITMASK)1) << (p) ) 
      
      
IPOQUE_SAVE_AS_BITMASK(detection_bitmask, ipoque_struct
      
      ->
      
      packet.detected_protocol);

通过gdb可以查看 detection_bitmask的值是：bitmask = {1, 0}。

这样就把每一个包放入已有的协议模式去匹配。

主要流程图：


也许有错误，希望指教。


wdt3385
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
openDPI简单流程分析
08-23
《OpenDPI简单流程分析》 OpenDPI（Open Deep Packet Inspection）是一种深度包检测技术，主要用于网络流量的分析和管理。本文将基于一个名为OpenDPI_demo的示例程序，探讨OpenDPI的基本工作流程及其核心功能。 ...
opendpi C&Linux;&网络数据分析
02-24
对于有经验的开发者，opendpi的开源特性允许对其进行二次开发，添加新的检测模块或集成到现有的网络管理系统中。此外，通过与其他开源工具（如SNMP、syslog）配合，可以构建更完整的网络监控解决方案。 总结来说，...
openDIP深度包检测技术
kalman2008的技术专栏
05-22 3669
前几日，群里有人提到 L7的问题。L7是一个用于检测第七层协议的软件，早已经停止了开发。后来，这个团队组织开发了openDPI。DPI的意思是深度包检测。从理论上看openDPI的性能要好于L7。你是不是急于上他们的网站呢？openDPI的网站是：http://www.opendpi.org。这是一个开源软件，但是当你访问他们的网站后，你会发现并不提供任何下载！给出的链接是指向一个商业公司的产品。
OpenDPI: 开源深度包检测库
最新发布
gitblog_00041的博客
03-16 518
OpenDPI: 开源深度包检测库 OpenDPI是一个开源的深度包检测（Deep Packet Inspection, DPI）库，用于实时分析网络流量并提取协议信息。 项目简介 OpenDPI提供了一套API和工具，可以方便地集成到各种网络设备和应用程序中。它支持多种常用协议，包括TCP、UDP、HTTP、FTP等，并能够识别各种流行的在线服务和应用程序。此外，OpenDPI还具有可扩展性，可...
opendpi学习
Derry的专栏
01-16 2367
opendpi-master\src\include\ipq_protocols_osdpi.h 协议特征对应的id和名字，包括长串和短串 缩写PACE:  Protocol & Application Classfication Engine enven if they use advanced obfuscation(模糊) and encryption techniques.
opendpi手册（读书笔记）
wdt3385的专栏
12-21 1593
转自：http://blog.chinaunix.net/uid-24690947-id-3195629.html opendpi  OpenDPI Integration  Usage of include file  Only a single header file from the include directory must be included:
OpenDPI集成手册
03-07
OpenDPI集成手册，openDPI利用DPI深度报文检测方法进行流量的识别过程。
opendpi nDPI-1.8.tar.gz
07-05
方便大家下载，请自觉遵守GPL协议。
OpenDPI-Manual.rar_opendpi
09-21
OpenDPI Integration Manual
opendpi,这个是一个协议分析的开源代码
01-09
这个是一个协议分析的开源代码，大家感兴趣的就来看看吧
nDPI深度流量包检测|opendpi
03-25
OPENDPI的开源项目 可以提供多种API,更多内容看doc下文档。 源码地址：https://svn.ntop.org/svn/ntop/trunk/nDPI/
ndpi-lua:用于测试 Lua 中的 nDPI（深度包检测）库的玩具程序
06-06
介绍 该程序读取 pcap 文件并使用称为 nDPI 的深度数据包检查库检查每个数据包。 这是一个概念验证程序。 该程序包含一个建立在 nDPI 之上的库。 这个库是用 C 编程的，它被称为libndpilua 。 该库旨在从 Lua 程序中使用。 main.lua文件读取 pcap 文件并检查每个数据包。 对于每个成功关联的数据包，都会触发操作。 这些操作被定义为 Lua 函数并遵循以下模板： function f ( id , packet ) end 在哪里： id ，是协议 ID。 packet ，是一个 pcap 数据包（ const uint8_t *packet ）。 依赖关系 这个程序依赖于 libndpi。 nDPI 是一个深度包检测库，用 C 语言编程。 nDPI 的头文件位于include/ ，已经构建的库位于lib/ 。 编译 制作 libndpiu
opendpi 文档, 网络数据分析&C&Linux;
02-24
opendpi, 一个网络数据分析开源项目的文档,
ndpi 最新版
04-15
centos7，官方网站下载的ndpi，Git clone https://github.com/ntop/nDPI
nDPI分析
热门推荐
lieye_leaves的专栏
12-17 2万+
nDPI分析 一.概述 nDPI是保持高度欢迎的OpenDPI，在GPL证书下发布，它的目标是增加新的协议，扩展原有的库；为了支持多平台的体验，它除了支持UNIX系列外，还支持windows版本；而且，可以改动nDPI来适配流量监控的应用，当网络流量不需要监控时，可以减掉nDPI的某些特性。 nDPI可检测应用层的协议，它可检测非标准端口，如非80端口的http协议；或者检测标准端口，如80
OpenDPI-1.3.0源代码分析
kalman2008的技术专栏
05-22 981
http://blog.sina.com.cn/s/blog_75984e830100ybcs.html openDPI切换为： http://www.ipoque.com/en/products/pace-network-analysis-with-layer-7-deep-packet-inspection 目前在实验室主要是弄这个，所以就分析了一下源代码。 水
pdfkit Exit with code 1 due to network error: ProtocolUnknownError错误原因以及解决方法
qq_44930937的博客
11-02 1798
pdfkit报错原因
Qt QUrl通信时ProtocolUnknownError
听风雨
06-02 1992
Qt在做Ftp进行文件上传，下载时，会出现单独设置端口号不生效的情况，弹窗ProtocolUnknownError错误信息
DPI技术
从菜鸟到菜菜鸟
12-26 1万+
一、DPI 技术产生的背景 近年来，网络新业务层出不穷，有对等网络（Peer-to-Peer，简称 P2P）、VoIP、流媒体、Web TV、音视频聊天、互动在线游戏和虚拟现实等。这些新业务的普及为运营商吸纳了大量的客户资源，同时也对网络的底层流量模型和上层应用模式产生了很大的冲击，带来带宽管理、内容计费、信息安全、舆论管控等一系列新的问题。尤其是 P2P、VoIP、流媒体等业务。当前 P2P ...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值