解析pcap文件，逐步认识tcp/ip协议栈

最新推荐文章于 2024-10-13 21:04:52 发布
最新推荐文章于 2024-10-13 21:04:52 发布
阅读量5.7k 收藏 24
点赞数
分类专栏： 协议栈精进 文章标签： tcp/ip 网络协议 网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_46833172/article/details/131623362
版权

初步认知tcp/ip协议栈

什么是协议栈

TCP/IP（Transmission Control Protocol/Internet Protocol）定义了一组规范和协议，用于在计算机网络中实现数据通信。
协议栈，或称TCP/IP 协议栈，是该网络簇下网络协议实现的集合，也是现代互联网的基础。
TCP/IP 协议栈由多个层级组成，每个层级负责处理特定的网络功能。它与 OSI 模型有所不同，但在基本功能和逻辑上非常相似。TCP/IP 协议栈的四个主要层级如下：

  1. 网络接口层（Network Interface Layer）：也称为物理层和数据链路层，负责将数据帧从物理层传输到网络层，并提供与物理介质的直接交互。

  2. 网络层（Internet Layer）：通过 IP 协议处理数据包的路由选择和转发，将数据包从发送方传输到接收方。其中最常见的协议是 IPv4（Internet Protocol version 4）和 IPv6（Internet Protocol version 6）。

  3. 传输层（Transport Layer）：提供端到端的可靠数据传输服务。最重要的协议是 TCP（Transmission Control Protocol），它通过序列号、确认和重传机制来确保可靠的数据传输。此外，还有 UDP（User Datagram Protocol），它是一种无连接的传输协议，不提供可靠性，但具有更低的延迟和更简单的机制。

  4. 应用层（Application Layer）：实现了各种应用程序的网络服务。应用层协议包括 HTTP（HyperText Transfer Protocol），用于 Web 浏览器和服务器之间的通信；FTP（File Transfer Protocol），用于文件传输；SMTP（Simple Mail Transfer Protocol），用于电子邮件的传输；DNS（Domain Name System），用于域名解析等。

TCP/IP 协议栈是互联网通信的基础，它提供了面向连接的可靠传输、无连接传输和各种应用程序之间的数据交换能力。通过遵循 TCP/IP 协议栈的规范，计算机可以在全球范围内进行互联网通信，并实现数据的传输、路由和应用程序的交互。

协议栈有那些作用

在现代开发中，TCP/IP 协议栈有以下几个重要作用：

  1. 网络通信：TCP/IP 协议栈提供了网络通信的基础，使得不同设备和应用程序能够通过互联网进行数据交换和通信。

  2. 可靠传输：通过 TCP 协议，TCP/IP 协议栈实现了可靠的端到端数据传输，确保数据的完整性和顺序性。

  3. 无连接传输：UDP 协议提供了无连接的传输机制，适用于对延迟敏感的应用，如实时音视频流媒体等。

  4. 路由选择：IP 协议负责将数据包从源主机传输到目标主机，通过路由选择算法来确定最佳路径，实现网络间的数据包转发。

  5. 应用支持：TCP/IP 协议栈中的应用层协议提供了各种网络服务，如 Web 浏览器与服务器之间的 HTTP 通信、电子邮件的传输等。

协议栈也在当今开发领域中扮演了重要角色，一些出名的 TCP/IP 相关项目和技术包括：

  1. Linux 内核：Linux 内核是一个开源操作系统内核，广泛使用了 TCP/IP 协议栈，为网络通信提供了强大的支持。

  2. Apache HTTP Server：Apache 是最流行的开源 Web 服务器软件之一，它使用 TCP/IP 协议栈来提供 HTTP 服务。

  3. Nginx：Nginx 是另一个流行的开源 Web 服务器软件，也使用 TCP/IP 协议栈来支持 HTTP 通信。

  4. Wireshark：Wireshark 是一个流行的网络协议分析工具，可用于捕获和分析 TCP/IP 协议栈中的数据流，用于网络故障排除和性能优化。

  5. OpenVPN：OpenVPN 是一种开源虚拟专用网络（VPN）技术，使用 TCP/IP 协议栈建立安全的远程访问连接。

  6. vpp： 一个高性能、可扩展和可定制的网络协议栈产品，适用于构建高性能网络应用或进行网络功能虚拟化等领域的开发和部署。

这些项目和技术在现代开发中发挥着重要的作用，帮助构建稳定、可靠和安全的网络通信环境。

协议栈的简单实现-提取五元组

协议栈并非简单的玩具

一个协议栈产品通常不会独立出现，一般是结合系统进行定制；

一个基础的协议栈将输入的原始数据进行分包解析，特征过滤，深度协议探测（DPI:deep protocol identification），元数据提取，格式转换等操作，将协议的元数据，通联信息，原始负载内容整理发送给后端使用；

在高性能场景下，通常结合DPDK技术将网卡数据DMA到应用层协议栈进行处理，这样就可以绕过NIC和内核协议栈带来的高延迟，从而更快地处理输入数据。

可见网络协议栈并非一个简单的玩具，而是需要大量网络相关研发人员及专家共同维护的大型工程，我在这里提供一些简单的提取pcap文件中五元组信息的工具，目的是更好的让大家初步理解协议栈，日后如果有使用协议栈的需求可以做出更好的选择；

基本原理

可以结合wireshark进行理解，通常，单个pcap文件由一个pcap文件头和N个链路帧构成，我们只需要按照pcap文件格式进行逐帧解析即可。解析数据帧的过程中，可以提取帧中有用的信息，此次主要是提取五元组信息。
在这里插入图片描述

核心实现

文件格式定义

#pragma pack(push , 1)
typedef struct _pcap_file_head{
    uint32_t  magic;        ///< pcap文件的幻数
    uint16_t  version_major;    ///< 当前文件的主要版本号，一般为0x0200
    uint16_t  version_minor;    ///< 当前文件的次要版本号，一般为0x0400
    uint32_t  thiszone;     ///< 当地的标准时间，如果用的是GMT则全零，一般全零
    uint32_t  sigfigs;    ///< 时间戳的精度，一般为全零
    uint32_t  snaplen;    ///< 最大的存储长度，设置所抓获的数据包的最大长度，如果所有数据包都要抓获，将值设置为65535
    uint32_t  linktype;   ///< 链路类型。解析数据包首先要判断它的LinkType，所以这个值很重要。一般的值为1，即以太网
}pcap_file_t;

typedef struct _frame_head{
    uint32_t Timestamp_sec;  ///< 时间戳高位，精度 秒
    uint32_t Timestamp_usec; ///< 时间戳低位，精度 微秒
    uint32_t Caplen;        ///< 到下一帧的偏移
    uint32_t Len;           ///< 实际上下一帧的偏移，绝大多数情况下等于caplen，可能会小于caplen
}frame_head_t;
typedef struct _comm_eth_head{
    uint8_t dst_mac[6];     ///< 目标mac地址
    uint8_t src_mac[6];     ///< 源mac地址
    uint16_t type;          ///<  请求类型  0x0800 ip数据 0x0806 arp 请求 0x8035 rarp 请求
}comm_eth_head_t;

typedef struct _comm_ip_head{
    uint8_t version:4,  ///< 版本
            headlen:4;  ///< 头部实际长度
    uint8_t TOS;        ///< type of service
    uint16_t iplen;     ///< ip数据报总长度
    uint16_t flag;      ///< 16位标识
    uint16_t falg:3,    ///< 3位标志
             offset:13;///< 13位片偏移
    uint8_t  ttl;   ///< time to live 生存时间
    uint8_t  protocol;
    uint16_t checksum;
    uint32_t src_ip;
    uint32_t dst_ip;
    /*变长部分暂不关心*/                                                                  
}comm_ip_head_t;
typedef struct _comm_tcp_head{
    uint16_t sport;         ///< 源端口
    uint16_t dport;         ///< 目的端口
    uint32_t seq;           ///< 序号字段                                                       
    uint32_t ack;           ///< 确认序号应当是上次已成功收到数据字节序号加 1
    uint16_t head_len:4,    ///< 首部长度
             reserved:6,    ///< 保留位
             UGR:1,     ///< 紧急指针 
             ACK:1,     ///< 确认序号有效
             PSH:1,     ///< 接收方应该尽快将这个报文段交给应用层
             RST:1,     ///< 重建连接
             SYN:1,     ///< 同步序号用来发起一个连接
             FIN:1;     ///< 发端完成发送任务
    uint16_t win_size;      ///< 窗口大小，T C P的流量控制由连接的每一端通过声明的窗口大小来提供
    uint16_t checksum;      ///< 检验和覆盖了整个的 T C P报文段：T C P首部和T C P数据
    uint16_t urgent_ptr;    ///< T C P的紧急方式是发送端向另一端发送紧急数据的一种方式。
        /*其他选项*/
}comm_tcp_head_t;

typedef struct _comm_udp_head{
    uint16_t  sport;
    uint16_t  dport;
    uint16_t  headlen;  ///< UDP首部和UDP数据的字节长度
    uint16_t  check_sum;///< udp校验和
}comm_udp_head_t;
#pragma (pop)

解析过程

static int pcap_analyse()
{
    pcap_file_t tmp_pcap_file_head;
    frame_head_t tmp_frame_head;
    int ret;    ///< 接收fread的返回值

    fread(&tmp_pcap_file_head , sizeof(tmp_pcap_file_head) , 1 ,g_pcap_fp);
    if(tmp_pcap_file_head.magic != 0xA1B2C3D4)  ///< 校验幻数
    {
        fprintf(stderr , "magic num check failed\n");
        return -1;
    }

    if(tmp_pcap_file_head.linktype != 1)    ///< 不是以太类型的我们也暂时不解析
    {
        fprintf(stderr , "just support common eth data");
        return -1;
    }

    while(1)
    {
        ret = fread(&tmp_frame_head , 1 , sizeof(tmp_frame_head) , g_pcap_fp );
        if(ret < sizeof(tmp_frame_head))
        {
            printf("analyse pcap over\n");
            return 0;
        }
        g_pkt_num ++;   ///< 增加计数

        fread(g_frame_data , tmp_frame_head.Caplen , 1 ,g_pcap_fp );    ///< 将pcap文件的数据读入全局静态内存
        pcap_payload_analyse(g_frame_data);
        bzero(g_frame_data ,  tmp_frame_head.Caplen);   ///< 清理内存
    }

    return 0;                                                                                                
}
static int pcap_payload_analyse(uint8_t *frame_payload)
{
    comm_eth_head_t *eth_head_ptr = NULL ;
    comm_ip_head_t  *ip_head_ptr = NULL ; 
    comm_tcp_head_t *tcp_head_ptr = NULL;
    comm_udp_head_t *udp_head_ptr = NULL;

    eth_head_ptr = (comm_eth_head_t *)frame_payload;
    ip_head_ptr = (comm_ip_head_t*)(frame_payload +  sizeof(comm_eth_head_t));
    g_ip_datasize += ntohs(ip_head_ptr->iplen);  ///< 更新ip数据长度

    if(ip_head_ptr->protocol == 6)  ///<tcp协议
        tcp_head_ptr = (comm_tcp_head_t*)(frame_payload +  sizeof(comm_eth_head_t) + sizeof(comm_ip_head_t));
    else if(ip_head_ptr->protocol == 17)    ///< udp协议
        udp_head_ptr = (comm_udp_head_t *)(frame_payload +  sizeof(comm_eth_head_t) + sizeof(comm_ip_head_t));
    else
    {
        printf("we just support tcp/udp protocol \n'");
        return  -1 ;
    }
    
    uint32_t tmp_sip = ip_head_ptr->src_ip;
    uint8_t *tmp_src_Ptr = (uint8_t *)&tmp_sip;
    char sip_buf[16] = {};
    inet_ntop (AF_INET, tmp_src_Ptr, sip_buf, sizeof (sip_buf));

    uint32_t tmp_dip = ip_head_ptr->dst_ip;
    uint8_t *tmp_dst_Ptr =(uint8_t *) &tmp_dip;
    char dip_buf[16] = {};
    inet_ntop (AF_INET, tmp_dst_Ptr, dip_buf, sizeof (dip_buf));

    if(g_print_flag && tcp_head_ptr)
    {
        printf("sport:%d\t dport:%d\t sip:%s\t dip:%s\t protocol %d \n ",\
                htons(tcp_head_ptr->sport) ,htons(tcp_head_ptr->dport),\
                sip_buf , dip_buf,ip_head_ptr->protocol );

    }
    else if(g_print_flag && udp_head_ptr)
    {
        printf("sport:%d\t dport:%d\t sip:%s\t dip:%s\t protocol %d \n ",\
                htons(udp_head_ptr->sport) ,htons(udp_head_ptr->dport),\
                sip_buf , dip_buf,ip_head_ptr->protocol );

    }
    return 0;                                                             
}

效果

在这里插入图片描述
相关资料以及c/cpp提升课程

我叫大魔宝
关注
专栏目录
pcap文件解析
hola_f的博客
06-15 8680
看了很久终于搞清楚怎么解析pcap文件啦~以前的一个版本是我把pcap包保存成.txt，删除冗余项，然后再依照格式读入，输出相应格式。后来，我发现其他同学都是用.pcap格式直接读入的，然后我就不懂了，直接读入的pcap文件格式应该是什么样子的？根据实战经验，应该就是网上各种教程解析的那种格式，根据那种格式按字节读入就可以啦！下面上代码： 这个是pcap.h 里面定义了pcap文件的主要结构体。
TCP/IP 网络协议基础入门
weixin_42715287的博客
06-16 2583
文章目录1、TCP/IP简介IP 地址域名MAC 地址端口号封装和分用2、链路层介绍控制帧的传输差错控制反馈重发计时器序号流量控制以太网PPP（点对点协议）SLIP 与 PPPSLIP 协议PPP 协议MTU3、IP网际协议IP 数据报IP 地址分类A 类地址B 类地址C 类地址子网划分IP 路由选择NAT 技术IP 的未来4、网络层其它协议ARP功能原理ARP 代理ARP 欺骗RARPICMPping 程序ping 简介TTL 值Ping 命令判断操作系统traceroute 程序traceroutetr
解析pcap数据包
12-04
解析pcap数据包，提取出其中内容，http协议，https,icmp.dns
【编程笔记】libpcap应用之保存文件
最新发布
xiongcha的博客
10-13 512
认识PCAP文件格式以及如何处理、解析
pcap文件分析
weixin_50311553的博客
01-12 8725
pcap文件格式的解析
Python解析PCAP文件
xiangxue888的博客
11-30 5687
Python解析PCAP文件
pcap包解析
txb0504的博客
04-02 2万+
pacp包解析 在接触激光雷达的时候，不可避免的第一步就是看硬件说明书以及调试厂商发的样例数据。一般情况下，厂商在存储硬件的数据包的时候，都是通过存储pacp包实现的，所以如何读取pacp包，并从中解析出真正有用的数据就变得很重要，接下来我们一步步讲。 1.pacp包结构 一个Pcap文件包括“Pcap报头”，“数据区”两个部分，其中数据区又分成多个数据包，每个包有报头和数据两个部分，总体结构可见...
tcpviewLinux.zip_TCP/IP协议栈_C++_
08-11
在Linux系统中，TCP/IP协议栈是网络通信的核心部分，它负责处理所有进出的数据包。TCP（Transmission Control Protocol）和UDP（User Datagram Protocol）是两种主要的传输层协议，它们在互联网通信中扮演着至关重要...
用Java实现对IP/TCP协议数据包的拦截和分析
12-19
在IT领域，网络通信是核心部分之一，而IP/TCP协议是互联网协议栈中的关键层次。本文将深入探讨如何利用Java编程语言实现对IP和TCP协议数据包的拦截与分析，以便获取IP地址的详细信息。 首先，我们需要理解IP...
TCP_IP协议栈在网络流量监控中的重要作用
## 1.1 介绍TCP/IP协议栈 TCP/IP协议栈是一组通信协议的集合，用于实现互联网的通信。它是互联网的基础，定义了数据在网络中的传输方式和规则。 TCP/IP协议栈包括四个层：应用层、传输层、网络层和数据链路层。每...
Wireshark和TCP_IP协议栈的关系
Wireshark作为网络协议分析工具，在网络领域中扮演着重要的角色。本章节将介绍Wireshark的定义、用途、发展历史、功能和特点。 ## 1.1 Wireshark的定义和用途 Wireshark是一个开源的网络数据包分析软件，最初称为...
Pcap文件详解
辞树
11-29 1万+
pcap文件是常用的数据报存储格式，可以理解为就是一种文件格式，只不过里面的数据是按照特定格式存储的，所以我们想要解析里面的数据，也必须按照一定的格式。普通的记事本打开pcap文件显示的是，用安装了HEX-Editor插件的Notepad++打开，能够以16进制数据的格式显示，或者使用sublime打开以十六进制的格式显示。用wireshark这种抓包工具就可以正常打开这种文件，愉快地查看里面的网络数据报了，同时wireshark也可以生成这种格式的文件。还有一些其他网络分析工具。
pcap文件理解
qq_54122067的博客
05-26 4141
Pcap文件中是二进制，使用winhex软件，打开是十六进制数，winhex是只有十六进制数，而wireshake自动将pcap中的数据包按照时间顺序将分开并赋予一个No.标号（标号是时间顺序）。：32位，一个UNIX格式的精确到秒时间值，用来记录数据包抓获的时间，记录方式是记录从格林尼治时间的1970年1月1日 00:00:00 到抓包时经过的秒数；ttl: 占据一个字节（8位），表示生存时间（Time to Live），用于限制数据包在网络中的生存时间，每经过一个路由器，TTL减1，直到为0时被丢弃。
pcap（cap）包文件解析
热门推荐
buside的博客
06-19 4万+
https://blog.csdn.net/m0_37710388/article/details/89217421 pcap文件是常用的数据报存储格式，可以理解为就是一种文件格式，只不过里面的数据是按照特定格式存储的，所以我们想要解析里面的数据，也必须按照一定的格式。普通的记事本打开pcap文件显示的是乱码，用Ultra Edit能够以16进制数据的格式显示，用wireshark这种抓...
解析pcap包工具
10-04
能把抓到的pcap包文件中g.729编码的rtp流解析存为wav文件
解析PCAP文件格式：网络包抓取的关键
"了解pcap文件格式" PCAP（Packet Capture）文件格式是网络数据分析和包捕获的标准格式，广泛应用于网络安全、网络监控和故障排查等...通过理解和解析PCAP文件，可以深入了解网络通信的细节，并有效地处理网络问题。
java解析pcap文件五元组信息
07-01
五元组信息指的是TCP/IP协议栈中的五个重要参数，即源IP地址、目的IP地址、源端口号、目的端口号和协议类型。解析PCAP文件的五元组信息可以帮助我们分析网络通信的源和目的，识别网络中的主机和服务等。 对于Java...
PCAP文件的解析软件
07-12
具备WIRESHARK的大部分功能，主要是指针的偏移来完成的。对初学者有一定的帮助。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

我叫大魔宝

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值