前言
流量安全分析设备首先需要经过协议解析,解析后形成不同的业务日志。某次在排场现场设备的过程中发现:某业务流量在某个方向无日志。由于现场设备背景流量比较多,又不能中断流量进行调试,因此只能通过tcpdump抓包分析。
分析过程中踩了不少坑,故作此总结。
总体思路
1、分析pcap包中的流量是否丢失
2、分析流量是否是设备已兼容的协议格式
3、分析是否是设备丢包
分析过程
tcpdump分别抓小文件(little.pcap)和批量大文件(big.pcap)上传时的流量, 通过wireshark分析big.pcap存在大量包的丢失,而little.pcap包正常。实验室设备回放结果表明:现场设备解析异常与流量的方向无关,与协议格式无关,可能是设备丢包。
那接下来的思路,从设备丢包为线索来分析。
丢包可能的原因如下:
1、网卡丢包
2、系统内存不足
3、TCP/IP协议栈丢包
那么问题来了,所有的这些丢包行为都能被tcpdump捕获到吗?要想知道tcpdump的抓包位置,就得从Linux网络数据包的收发过程开始,这里以数据包接收为例。
3.1 Linux网络数据包的接收过程
NIC :网络适配器
DMA:直接存储访问
NIC Interrupt Handler:网络适配器中断句柄
Poll_quenue :Poll队列
SoftIrq:软中断
接收过程如图所示:
图1-Linux网络数据包接收过程
- 1、在系统启动后,系统会分配Ring Buffer和专门的内核内存区域给NIC用于存放传输上来的数据包。当有数据时,DMA负责从NIC取数据存入内核内存,并在Ring Buffer上寻找下一个可用数据。
2、当DMA读取完数据之后,NIC会触发IRQ硬中断让CPU去处理收到的数据。
3、为了能够集中处理IRQ,这里会通过poll队列批量拉取数据。
4、通过某种机制触发softirq软中断,获取数据包并执行基本的检查
5、最后对数据包进行基本的统计和其他处理,交由上层协议栈处理。
从Linux网络数据包大致接收过程可以知道,tcpdump能不能分析”丢包“还得看情况,取决于tcpdump到底在网络数据包传输的哪个过程中抓包的。
那接下来进一步深入到收包的细节当中去,看看tcpdump到底工作在哪个环节?
3.1 Linux网络数据包的接收流程细节描述
如图所示(星号所在位置就是tcpdump的抓包位置):
__netif_receive_skb_core是协议栈处理数据包的入口函数,在 __netif_receive_skb_core 这个函数里会遍历 ptype_all 上的协议,然后遍历 ptype_all,并使用 deliver_skb 来调用协议中的回调函数。
而tcpdump是ptype_all中的一个伪协议,通过这种方式获得数据包的处理权。即通过deliver_skb来进入 packet_rcv阶段 ,packet_rcv 把收到的skb放到当前的packet socket的接收队列中,应用层调用recvfrom就可以将接收队列中的数据包拷贝到应用层,从而实现tcpdump的收包。
那从tcpdump的抓包位置来看,tcudmp确实能分析丢包,但是却不能覆盖所有的场景,对于一个旁路的流量分析设备莱索,只能分析下面场景的丢包:
1、网卡丢包
2、RingBuffer溢出
对于网络协议栈的丢包,tcpdump也无能为力。
接下来就针对上面的两个丢包的场景,进一步确定在哪个地方丢包,从而找到合适的解决方案。
我们可以通过ifconfig进一步诊断:
这里只关注接收方向(RX)的dropped和overruns:
dropped | 数据已经进入Ring Buffer,但是由于系统原因(内存不够等),导致在拷贝到内存的过程中被丢弃。 |
overruns | 数据还未进入Ring Buffer,此时的FIFO队列溢出,数据会被丢掉。 是由于数据包发送过快,导致系统繁忙,来不及响应网卡中断,导致网卡里的数据包没有及时拷贝到系统内存。 若overruns≠0,应该检查CPU负载和中断情况。 |
errors | errors指的是收到错误数据包的总数,可能包括以下原因:过长的数据帧、Ring Buffer溢出、CRC校验错误、数据帧对齐错误、FIFO队列超出极限等原因。 |
frame | 未对齐的数据帧 |
举个例子,如图所示:
这张表里总结了当前设备可能丢包的情况,因此应对此时丢包的方案:
1、优化per CPU的中断分配方案
2、升级网卡
dropped | 82085998(可能是内核内存不够导致的) |
overruns | 82085998(可能是由于各个CPU中断分配不均导致的,总之是这时的流量来得太快太大,超过了CPU中断的能力) |
errors | 52(frame=52,表示这52全部都是未对齐的数据帧) |
frame | 52 |
总结
对于旁路的流量分析设备来说,只关注接收方向,tcpdump只能分析由网卡、系统内存等系统原因产生的丢包,不能判断网络协议栈的丢包行为。
题外话
初入计算机行业的人或者大学计算机相关专业毕业生,很多因缺少实战经验,就业处处碰壁。下面我们来看两组数据:
- 2023届全国高校毕业生预计达到1158万人,就业形势严峻;
- 国家网络安全宣传周公布的数据显示,到2027年我国网络安全人员缺口将达327万。
一方面是每年应届毕业生就业形势严峻,一方面是网络安全人才百万缺口。
6月9日,麦可思研究2023年版就业蓝皮书(包括《2023年中国本科生就业报告》《2023年中国高职生就业报告》)正式发布。
2022届大学毕业生月收入较高的前10个专业
本科计算机类、高职自动化类专业月收入较高。2022届本科计算机类、高职自动化类专业月收入分别为6863元、5339元。其中,本科计算机类专业起薪与2021届基本持平,高职自动化类月收入增长明显,2022届反超铁道运输类专业(5295元)排在第一位。
具体看专业,2022届本科月收入较高的专业是信息安全(7579元)。对比2018届,电子科学与技术、自动化等与人工智能相关的本科专业表现不俗,较五年前起薪涨幅均达到了19%。数据科学与大数据技术虽是近年新增专业但表现亮眼,已跻身2022届本科毕业生毕业半年后月收入较高专业前三。五年前唯一进入本科高薪榜前10的人文社科类专业——法语已退出前10之列。
“没有网络安全就没有国家安全”。当前,网络安全已被提升到国家战略的高度,成为影响国家安全、社会稳定至关重要的因素之一。
网络安全行业特点
1、就业薪资非常高,涨薪快 2021年猎聘网发布网络安全行业就业薪资行业最高人均33.77万!
2、人才缺口大,就业机会多
2019年9月18日《中华人民共和国中央人民政府》官方网站发表:我国网络空间安全人才 需求140万人,而全国各大学校每年培养的人员不到1.5W人。猎聘网《2021年上半年网络安全报告》预测2027年网安人才需求300W,现在从事网络安全行业的从业人员只有10W人。
行业发展空间大,岗位非常多
网络安全行业产业以来,随即新增加了几十个网络安全行业岗位︰网络安全专家、网络安全分析师、安全咨询师、网络安全工程师、安全架构师、安全运维工程师、渗透工程师、信息安全管理员、数据安全工程师、网络安全运营工程师、网络安全应急响应工程师、数据鉴定师、网络安全产品经理、网络安全服务工程师、网络安全培训师、网络安全审计员、威胁情报分析工程师、灾难恢复专业人员、实战攻防专业人员…
职业增值潜力大
网络安全专业具有很强的技术特性,尤其是掌握工作中的核心网络架构、安全技术,在职业发展上具有不可替代的竞争优势。
随着个人能力的不断提升,所从事工作的职业价值也会随着自身经验的丰富以及项目运作的成熟,升值空间一路看涨,这也是为什么受大家欢迎的主要原因。
从某种程度来讲,在网络安全领域,跟医生职业一样,越老越吃香,因为技术愈加成熟,自然工作会受到重视,升职加薪则是水到渠成之事。
黑客&网络安全如何学习
今天只要你给我的文章点赞,我私藏的网安学习资料一样免费共享给你们,来看看有哪些东西。
1.学习路线图 ![](https://img-blog.csdnimg.cn/direct/424e38ca2a4f4d9f8309ef122fbcf07a.png)
攻击和防守要学的东西也不少,具体要学的东西我都写在了上面的路线图,如果你能学完它们,你去就业和接私活完全没有问题。
2.视频教程
网上虽然也有很多的学习资源,但基本上都残缺不全的,这是我自己录的网安视频教程,上面路线图的每一个知识点,我都有配套的视频讲解。
内容涵盖了网络安全法学习、网络安全运营等保测评、渗透测试基础、漏洞详解、计算机基础知识等,都是网络安全入门必知必会的学习内容。
(都打包成一块的了,不能一一展开,总共300多集)
因篇幅有限,仅展示部分资料,需要保存下方图片,微信扫码即可前往获取
3.技术文档和电子书
技术文档也是我自己整理的,包括我参加大型网安行动、CTF和挖SRC漏洞的经验和技术要点,电子书也有200多本,由于内容的敏感性,我就不一一展示了。
因篇幅有限,仅展示部分资料,需要保存下方图片,微信扫码即可前往获取
4.工具包、面试题和源码
“工欲善其事必先利其器”我为大家总结出了最受欢迎的几十款款黑客工具。涉及范围主要集中在 信息收集、Android黑客工具、自动化工具、网络钓鱼等,感兴趣的同学不容错过。
还有我视频里讲的案例源码和对应的工具包,需要的话也可以拿走。
因篇幅有限,仅展示部分资料,需要保存下方图片,微信扫码即可前往获取
最后就是我这几年整理的网安方面的面试题,如果你是要找网安方面的工作,它们绝对能帮你大忙。
这些题目都是大家在面试深信服、奇安信、腾讯或者其它大厂面试时经常遇到的,如果大家有好的题目或者好的见解欢迎分享。
参考解析:深信服官网、奇安信官网、Freebuf、csdn等
内容特点:条理清晰,含图像化表示更加易懂。
内容概要:包括 内网、操作系统、协议、渗透测试、安服、漏洞、注入、XSS、CSRF、SSRF、文件上传、文件下载、文件包含、XXE、逻辑漏洞、工具、SQLmap、NMAP、BP、MSF…
因篇幅有限,仅展示部分资料,需要保存下方图片,微信扫码即可前往获取