tcpdump能进行丢包分析吗？

前言

流量安全分析设备首先需要经过协议解析，解析后形成不同的业务日志。某次在排场现场设备的过程中发现：某业务流量在某个方向无日志。由于现场设备背景流量比较多，又不能中断流量进行调试，因此只能通过tcpdump抓包分析。

分析过程中踩了不少坑，故作此总结。

总体思路

1、分析pcap包中的流量是否丢失

2、分析流量是否是设备已兼容的协议格式

3、分析是否是设备丢包

分析过程

tcpdump 分别抓小文件( little.pcap )和批量大文件( big.pcap )上传时的流量，
通过wireshark分析big.pcap存在大量包的丢失，而little.pcap包正常。实验室设备回放结果表明：
现场设备解析异常与流量的方向无关，与协议格式无关，可能是设备丢包。

那接下来的思路，从设备丢包为线索来分析。

丢包可能的原因如下：

1、网卡丢包

2、系统内存不足

3、TCP/IP协议栈丢包

那么问题来了，所有的这些丢包行为都能被tcpdump捕获到吗？要想知道tcpdump的抓包位置，就得从Linux网络数据包的收发过程开始，这里以数据包接收为例。

3.1 Linux网络数据包的接收过程

NIC ：网络适配器

DMA：直接存储访问

NIC Interrupt Handler：网络适配器中断句柄

Poll_quenue ：Poll队列

SoftIrq：软中断

接收过程如图所示：

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-6thfxZRP-1690965243050)(https://image.3001.net/images/20220316/1647439880_6231f00896b804ff90cd0.png!small)]

图1-Linux网络数据包接收过程

• 1、在系统启动后，系统会分配Ring Buffer和专门的内核内存区域给NIC用于存放传输上来的数据包。当有数据时，DMA负责从NIC取数据存入内核内存，并在Ring Buffer上寻找下一个可用数据。

2、当DMA读取完数据之后，NIC会触发IRQ硬中断让CPU去处理收到的数据。

3、为了能够集中处理IRQ，这里会通过poll队列批量拉取数据。

4、通过某种机制触发softirq软中断，获取数据包并执行基本的检查

5、最后对数据包进行基本的统计和其他处理，交由上层协议栈处理。

从Linux网络数据包大致接收过程可以知道，tcpdump能不能分析”丢包“还得看情况，取决于tcpdump到底在网络数据包传输的哪个过程中抓包的。

那接下来进一步深入到收包的细节当中去，看看tcpdump到底工作在哪个环节？

3.1 Linux网络数据包的接收流程细节描述

如图所示（星号所在位置就是tcpdump的抓包位置）：

__netif_receive_skb_core是协议栈处理数据包的入口函数，在 __netif_receive_skb_core 这个函数里会遍历
ptype_all 上的协议，然后遍历 ptype_all，并使用 deliver_skb 来调用协议中的回调函数。

而tcpdump是ptype_all中的一个伪协议，通过这种方式获得数据包的处理权。即通过deliver_skb来进入 packet_rcv阶段
，packet_rcv 把收到的skb放到当前的packet
socket的接收队列中，应用层调用recvfrom就可以将接收队列中的数据包拷贝到应用层，从而实现tcpdump的收包。

那从tcpdump的抓包位置来看，tcudmp确实能分析丢包，但是却不能覆盖所有的场景，对于一个旁路的流量分析设备莱索，只能分析下面场景的丢包：

1、网卡丢包

2、RingBuffer溢出

对于网络协议栈的丢包，tcpdump也无能为力。

接下来就针对上面的两个丢包的场景，进一步确定在哪个地方丢包，从而找到合适的解决方案。

我们可以通过ifconfig进一步诊断：

这里只关注接收方向（RX）的dropped和overruns：

dropped|

数据已经进入Ring Buffer，但是由于系统原因（内存不够等），导致在拷贝到内存的过程中被丢弃。

—|—
overruns|

数据还未进入Ring Buffer，此时的FIFO队列溢出，数据会被丢掉。

是由于数据包发送过快，导致系统繁忙，来不及响应网卡中断，导致网卡里的数据包没有及时拷贝到系统内存。

若overruns≠0，应该检查CPU负载和中断情况。

errors|

errors指的是收到错误数据包的总数，可能包括以下原因：过长的数据帧、Ring
Buffer溢出、CRC校验错误、数据帧对齐错误、FIFO队列超出极限等原因。

frame|

未对齐的数据帧

举个例子，如图所示：

这张表里总结了当前设备可能丢包的情况，因此应对此时丢包的方案：

1、优化per CPU的中断分配方案

2、升级网卡

dropped	82085998（可能是内核内存不够导致的）
overruns	82085998（可能是由于各个CPU中断分配不均导致的，总之是这时的流量来得太快太大，超过了CPU中断的能力）
errors	52（frame=52，表示这52全部都是未对齐的数据帧）
frame	52

总结

对于旁路的流量分析设备来说，只关注接收方向，tcpdump只能分析由网卡、系统内存等系统原因产生的丢包，不能判断网络协议栈的丢包行为。

参考资料

1、用户态 tcpdump 如何实现抓到内核网络包的

2、数据包如何从物理网卡到达云主机的应用程序？

3、参考linux-5.16.15内核源码

4、《深入理解Linux网络技术内幕》

2、数据包如何从物理网卡到达云主机的应用程序？

3、参考linux-5.16.15内核源码

4、《深入理解Linux网络技术内幕》

学习网络安全技术的方法无非三种:

第一种是报网络安全专业，现在叫网络空间安全专业，主要专业课程:程序设计、计算机组成原理原理、数据结构、操作系统原理、数据库系统、 计算机网络、人工智能、自然语言处理、社会计算、网络安全法律法规、网络安全、内容安全、数字取证、机器学习，多媒体技术，信息检索、舆情分析等。

第二种是自学，就是在网上找资源、找教程，或者是想办法认识一-些大佬，抱紧大腿，不过这种方法很耗时间，而且学习没有规划，可能很长一段时间感觉自己没有进步，容易劝退。

如果你对网络安全入门感兴趣，那么你需要的话可以点击这里👉网络安全重磅福利：入门&进阶全套282G学习资源包免费分享！

第三种就是去找培训。

接下来，我会教你零基础入门快速入门上手网络安全。

网络安全入门到底是先学编程还是先学计算机基础？这是一个争议比较大的问题，有的人会建议先学编程，而有的人会建议先学计算机基础，其实这都是要学的。而且这些对学习网络安全来说非常重要。但是对于完全零基础的人来说又或者急于转行的人来说，学习编程或者计算机基础对他们来说都有一定的难度，并且花费时间太长。

第一阶段：基础准备 4周~6周

这个阶段是所有准备进入安全行业必学的部分，俗话说：基础不劳，地动山摇

第二阶段：web渗透

学习基础 时间：1周 ~ 2周：

① 了解基本概念：（SQL注入、XSS、上传、CSRF、一句话木马、等）为之后的WEB渗透测试打下基础。
② 查看一些论坛的一些Web渗透，学一学案例的思路，每一个站点都不一样，所以思路是主要的。
③ 学会提问的艺术，如果遇到不懂得要善于提问。

配置渗透环境 时间：3周 ~ 4周：

① 了解渗透测试常用的工具，例如（AWVS、SQLMAP、NMAP、BURP、中国菜刀等）。
② 下载这些工具无后门版本并且安装到计算机上。
③ 了解这些工具的使用场景，懂得基本的使用，推荐在Google上查找。

渗透实战操作 时间：约6周：

① 在网上搜索渗透实战案例，深入了解SQL注入、文件上传、解析漏洞等在实战中的使用。
② 自己搭建漏洞环境测试，推荐DWVA，SQLi-labs，Upload-labs，bWAPP。
③ 懂得渗透测试的阶段，每一个阶段需要做那些动作：例如PTES渗透测试执行标准。
④ 深入研究手工SQL注入，寻找绕过waf的方法，制作自己的脚本。
⑤ 研究文件上传的原理，如何进行截断、双重后缀欺骗(IIS、PHP)、解析漏洞利用（IIS、Nignix、Apache）等，参照：上传攻击框架。
⑥ 了解XSS形成原理和种类，在DWVA中进行实践，使用一个含有XSS漏洞的cms，安装安全狗等进行测试。
⑦ 了解一句话木马，并尝试编写过狗一句话。
⑧ 研究在Windows和Linux下的提升权限，Google关键词：提权

以上就是入门阶段

第三阶段：进阶

已经入门并且找到工作之后又该怎么进阶？详情看下图

给新手小白的入门建议：
新手入门学习最好还是从视频入手进行学习，视频的浅显易懂相比起晦涩的文字而言更容易吸收，这里我给大家准备了一套网络安全从入门到精通的视频学习资料包免费领取哦！

如果你对网络安全入门感兴趣，那么你需要的话可以点击这里👉网络安全重磅福利：入门&进阶全套282G学习资源包免费分享！