记录Pcap4j使用的一次异常调查和分析

已于 2022-09-07 09:49:44 修改
阅读量1k 收藏 2
点赞数 1
分类专栏： 择维士 技术分享 工作 文章标签： java 网络 pcap4j 抓包 监控
于 2022-09-06 14:40:35 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/scugxl/article/details/126723724
版权
工作 同时被 3 个专栏收录
23 篇文章 1 订阅
订阅专栏
择维士
15 篇文章 1 订阅
订阅专栏
技术分享
12 篇文章 0 订阅
订阅专栏

问题

我们的监控工具择维士提供了完整的网络监控,包括但不限于:

  1. 网卡级别流量统计
  2. 出入流量统计
  3. 按协议的出入流量统计
  4. 按目标地址和本地地址的出入流量统计
  5. 网络异常流量告警
    但是问题是发现最近的协议统计不工作了, 只能看到网卡级别的统计数据了:
    在这里插入图片描述看不到的协议级别统计:(忽略后面是解决过后采集的最新数据)()查看系统日志发现有如下错误:
FINEST|12934/0|Service Zoomphant Agent|22-09-05 16:41:36|java.lang.ArrayIndexOutOfBoundsException: arr.length: 182, offset: 56, len: -77, arr: 74258a022700ac1f6bf87e430800450000a8b4dd40004006e348b783323e9a531e1544084ad7b88000004408000080183e3a94cc0000eeb50b0c30bb4d773a03c240eb029f69f36e6a38f5c6e42240ca6f72bc1676e3d7e100884c4dd78c5cabe6800a8e76d3eac3f75c15587c6a4da275df776114b80c0d1e5aaa4a2ad268fd3fa0c12f3bbbc723e7114b441891bd3f93ce8944b4acc3b3658418850cd79326358010aaab8eadebf9270f8e6e94af2346bd3de56e6e
FINEST|12934/0|Service Zoomphant Agent|22-09-05 16:41:36|       at org.pcap4j.util.ByteArrays.validateBounds(ByteArrays.java:1078) ~[pcap4j-core-1.7.3.jar:?]
FINEST|12934/0|Service Zoomphant Agent|22-09-05 16:41:36|       at org.pcap4j.util.ByteArrays.getSubArray(ByteArrays.java:820) ~[pcap4j-core-1.7.3.jar:?]
FINEST|12934/0|Service Zoomphant Agent|22-09-05 16:41:36|       at org.pcap4j.packet.UnknownTcpOption.<init>(UnknownTcpOption.java:77) ~[pcap4j-core-1.7.3.jar:?]
FINEST|12934/0|Service Zoomphant Agent|22-09-05 16:41:36|       at org.pcap4j.packet.UnknownTcpOption.newInstance(UnknownTcpOption.java:45) ~[pcap4j-core-1.7.3.jar:?]
FINEST|12934/0|Service Zoomphant Agent|22-09-05 16:41:36|       at org.pcap4j.packet.factory.StaticTcpOptionFactory.newInstance(StaticTcpOptionFactory.java:174) ~[pcap4j-packetfactory-static-1.7.3.jar:?]
FINEST|12934/0|Service Zoomphant Agent|22-09-05 16:41:36|       at org.pcap4j.packet.factory.StaticTcpOptionFactory.newInstance(StaticTcpOptionFactory.java:168) ~[pcap4j-packetfactory-static-1.7.3.jar:?]
FINEST|12934/0|Service Zoomphant Agent|22-09-05 16:41:36|       at org.pcap4j.packet.factory.StaticTcpOptionFactory.newInstance(StaticTcpOptionFactory.java:29) ~[pcap4j-packetfactory-static-1.7.3.jar:?]
FINEST|12934/0|Service Zoomphant Agent|22-09-05 16:41:36|       at org.pcap4j.packet.TcpPacket$TcpHeader.<init>(TcpPacket.java:675) ~[pcap4j-core-1.7.3.jar:?]
FINEST|12934/0|Service Zoomphant Agent|22-09-05 16:41:36|       at org.pcap4j.packet.TcpPacket$TcpHeader.<init>(TcpPacket.java:482) ~[pcap4j-core-1.7.3.jar:?]
FINEST|12934/0|Service Zoomphant Agent|22-09-05 16:41:36|       at org.pcap4j.packet.TcpPacket.<init>(TcpPacket.java:64) ~[pcap4j-core-1.7.3.jar:?]
FINEST|12934/0|Service Zoomphant Agent|22-09-05 16:41:36|       at org.pcap4j.packet.TcpPacket.newPacket(TcpPacket.java:60) ~[pcap4j-core-1.7.3.jar:?]
FINEST|12934/0|Service Zoomphant Agent|22-09-05 16:41:36|       at org.pcap4j.packet.factory.StaticIpNumberPacketFactory$4.newInstance(StaticIpNumberPacketFactory.java:83) ~[pcap4j-packetfactory-static-1.7.3.jar:?]
FINEST|12934/0|Service Zoomphant Agent|22-09-05 16:41:36|       at org.pcap4j.packet.factory.AbstractStaticPacketFactory.newInstance(AbstractStaticPacketFactory.java:46) ~[pcap4j-packetfactory-static-1.7.3.jar:?]
FINEST|12934/0|Service Zoomphant Agent|22-09-05 16:41:36|       at org.pcap4j.packet.factory.AbstractStaticPacketFactory.newInstance(AbstractStaticPacketFactory.java:23) ~[pcap4j-packetfactory-static-1.7.3.jar:?]
FINEST|12934/0|Service Zoomphant Agent|22-09-05 16:41:36|       at org.pcap4j.packet.IpV4Packet.<init>(IpV4Packet.java:94) ~[pcap4j-core-1.7.3.jar:?]
FINEST|12934/0|Service Zoomphant Agent|22-09-05 16:41:36|       at org.pcap4j.packet.IpV4Packet.newPacket(IpV4Packet.java:61) ~[pcap4j-core-1.7.3.jar:?]
FINEST|12934/0|Service Zoomphant Agent|22-09-05 16:41:36|       at org.pcap4j.packet.factory.StaticEtherTypePacketFactory$1.newInstance(StaticEtherTypePacketFactory.java:37) ~[pcap4j-packetfactory-static-1.7.3.jar:?]
FINEST|12934/0|Service Zoomphant Agent|22-09-05 16:41:36|       at org.pcap4j.packet.factory.StaticEtherTypePacketFactory.newInstance(StaticEtherTypePacketFactory.java:111) ~[pcap4j-packetfactory-static-1.7.3.jar:?]
FINEST|12934/0|Service Zoomphant Agent|22-09-05 16:41:36|       at org.pcap4j.packet.factory.StaticEtherTypePacketFactory.newInstance(StaticEtherTypePacketFactory.java:24) ~[pcap4j-packetfactory-static-1.7.3.jar:?]
FINEST|12934/0|Service Zoomphant Agent|22-09-05 16:41:36|       at org.pcap4j.packet.EthernetPacket.<init>(EthernetPacket.java:102) ~[pcap4j-core-1.7.3.jar:?]
FINEST|12934/0|Service Zoomphant Agent|22-09-05 16:41:36|       at org.pcap4j.packet.EthernetPacket.newPacket(EthernetPacket.java:61) ~[pcap4j-core-1.7.3.jar:?]
FINEST|12934/0|Service Zoomphant Agent|22-09-05 16:41:36|       at org.pcap4j.packet.factory.StaticDataLinkTypePacketFactory$1.newInstance(StaticDataLinkTypePacketFactory.java:39) ~[pcap4j-packetfactory-static-1.7.3.jar:?]
FINEST|12934/0|Service Zoomphant Agent|22-09-05 16:41:36|       at org.pcap4j.packet.factory.AbstractStaticPacketFactory.newInstance(AbstractStaticPacketFactory.java:46) ~[pcap4j-packetfactory-static-1.7.3.jar:?]
FINEST|12934/0|Service Zoomphant Agent|22-09-05 16:41:36|       at org.pcap4j.packet.factory.AbstractStaticPacketFactory.newInstance(AbstractStaticPacketFactory.java:23) ~[pcap4j-packetfactory-static-1.7.3.jar:?]
FINEST|12934/0|Service Zoomphant Agent|22-09-05 16:41:36|       at org.pcap4j.core.PcapHandle$GotPacketFuncExecutor$1.run(PcapHandle.java:1476) ~[pcap4j-core-1.7.3.jar:?]
FINEST|12934/0|Service Zoomphant Agent|22-09-05 16:41:36|       at org.pcap4j.core.PcapHandle$SimpleExecutor.execute(PcapHandle.java:1442) ~[pcap4j-core-1.7.3.jar:?]
FINEST|12934/0|Service Zoomphant Agent|22-09-05 16:41:36|       at org.pcap4j.core.PcapHandle$GotPacketFuncExecutor.got_packet(PcapHandle.java:1470) ~[pcap4j-core-1.7.3.jar:?]
FINEST|12934/0|Service Zoomphant Agent|22-09-05 16:41:36|       at org.pcap4j.core.NativeMappings.pcap_loop(Native Method) ~[pcap4j-core-1.7.3.jar:?]
client_loop: send disconnect: Broken pipe-09-05 16:41:36|       at org.pcap4j.core.PcapHandle.doLoop(PcapHandle.java:907) ~[pcap4j-core-1.7.3.jar:?]

我们采用pcap4j来收集网络相关数据. 原理在Java 抓包实现 - 使用pcap4j + Xpcap这个文章中有讲述.

调查过程

现在拿到了异常堆栈 至少不会无迹可寻. 异常显示是系统越界, 这里面的构造对象UnknownTcpOption 很奇怪, 难道是某个特殊的tcpoption无法支持? 我们使用的pcap4j是1.7.3 (最新是1.8.2)

复现问题

上面的异常中给出了个数组74258a022... 这个很有可能就是当时完整的数据包, 那么我们可能可以通过这个复原出当时的情况: 注意堆栈的最开始构建的数据包对象是EthernetPacket 其实这个很正常也符合TCP/IP分层协议:
在这里插入图片描述将上面的数组转换为方便的byte[]表示
我用的这个网站将hex转为base64方便代码copy:


import org.pcap4j.packet.*;

import java.util.*;

public class MyTest {
    public static void main(String[] args) throws Exception {
        byte [] bs = Base64.getDecoder().decode("dCWKAicArB9r+H5DCABFAACotN1AAEAG40i3gzI+mlMeFUQISte4gAAARAgAAIAYPjqUzAAA7rULDDC7TXc6A8JA6wKfafNuajj1xuQiQMpvcrwWduPX4QCITE3XjFyr5oAKjnbT6sP3XBVYfGpNonXfd2EUuAwNHlqqSirSaP0/oMEvO7vHI+cRS0QYkb0/k86JRLSsw7NlhBiFDNeTJjWAEKqrjq3r+ScPjm6UryNGvT3lbm4=");
        EthernetPacket p = EthernetPacket.newPacket(bs, 0, bs.length);
        System.out.println(p);   
    }
}

然后错误被精确还原了.

在1.8.2 pcap4j 错误如下:

arr is empty.
java.lang.IllegalArgumentException: arr is empty.
	at org.pcap4j.util.ByteArrays.validateBounds(ByteArrays.java:953)
	at org.pcap4j.util.ByteArrays.toHexString(ByteArrays.java:771)
	at org.pcap4j.util.ByteArrays.toHexString(ByteArrays.java:760)
	at org.pcap4j.packet.UnknownTcpOption.toString(UnknownTcpOption.java:147)
	at java.base/java.lang.String.valueOf(String.java:2951)
	at java.base/java.lang.StringBuilder.append(StringBuilder.java:168)
	at org.pcap4j.packet.TcpPacket$TcpHeader.buildString(TcpPacket.java:945)
	at org.pcap4j.packet.AbstractPacket$AbstractHeader$4.buildValue(AbstractPacket.java:416)
	at org.pcap4j.packet.AbstractPacket$AbstractHeader$4.buildValue(AbstractPacket.java:413)
	at org.pcap4j.util.LazyValue.getValue(LazyValue.java:41)
	at org.pcap4j.packet.AbstractPacket$AbstractHeader.toString(AbstractPacket.java:530)
	at org.pcap4j.packet.AbstractPacket.buildString(AbstractPacket.java:236)
	at org.pcap4j.packet.AbstractPacket$4.buildValue(AbstractPacket.java:68)
	at org.pcap4j.packet.AbstractPacket$4.buildValue(AbstractPacket.java:65)
	at org.pcap4j.util.LazyValue.getValue(LazyValue.java:41)

解决问题

如果能够把上面的数据包用wireshark类似的工具打开解析下 看看到底是不是数据的问题就最好了. (心想应该不会是数据包本身的问题 因为不可能全都有问题)
最终找到了这个网站 可以解析数据包:
在这里插入图片描述找到tcpoption环节:
在这里插入图片描述tcp 格式:
在这里插入图片描述

tcp option格式:(这个网上说的少, 我找的rfc: https://www.ietf.org/rfc/rfc793.txt)
在这里插入图片描述在urgen pointer后开始就是option数据. 有2种格式. 1种是1个字节的option类型. 1种是1字节option类型, 1字节option长度和n字节option数据.
那么我们的例子中0xee (238)就是option类型. 这是啥类型呢? 为啥会被分到UnknownTcpOption里面呢?

在这里查看所有的tcpoption类型: url 是保留类型.
在这里插入图片描述应该是0xee 238这个类型不被pcap4j识别导致的失败

解决

看了下pcap4j实现:在这个instantiaters定义了常见的tcp option列表 比如max segement size/ window scale等:
在这里插入图片描述想来它也不可能解析每个tcpoption也没必要这么做, 所以不认识的就丢到UnknownTcpOption里面去了.
这时候我发现一个点上面的异常中, len是负数(-77):

ArrayIndexOutOfBoundsException: arr.length: 182, offset: 56, len: -77,

这个很奇怪, len怎么可能是负数呢? 因为已经可以复现问题了. 所以跟了下堆栈, 方向-77就是0xee 只不过一个是byte表示. java的byte只能表达-128到127的数字. 但是这个跟协议明显是不一致的. 协议规定这个len是1个字节(无符号的), 所以会出现有的时候len可能是负值的情况(但是如果你理解为short 那么就是正值范围128-255).
一看果然如此:
在这里插入图片描述问题原因: 这个tcp option的长度超过了127 (byte表示范围变成负数了), 后面又尝试用这样的代码去取值肯定就报错了:
this.data = ByteArrays.getSubArray(rawData, 2 + offset, this.length - 2); }
所以最终解决方式是:我这里提的pr 原来的作者可能没管这个repo了…
这个在pcap4j 1.8.2的上面现象不太一样 但是都会报错. 解决思路也类似.

总结

TCP/IP协议看似复杂,但是实际上设计的是很简单高效的,RFC设计的也很精巧,而且我们只需要从大到小一点点解析就可以很方便的通过pcap4j得到并解析你想要的任何数据.

广告时间
访问我们的主页来获取全方位的网络监测吧.

参考

  1. hex to base 64网址
  2. fix地址
  3. 原issue地址
  4. rfc
择维士
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
网络安全系列-十九:使用Pcap4J读取pcap包内容并转换为hex显示
penriver的博客
04-26 1955
Pcap4J是一个用于捕获、生成和发送数据包的Java库。 Pcap4J通过JNA封装了一个本地包捕获库(libpcap、WinPcap或Npcap)，并为您提供了面向java的api。 本文基于Pcap4J读取pcap包内容，并把二进制的packet转换为byte,hex,ascii形式，转换结果与wireshark一致
hspcap_流量监控_pcap4j解析http_pcap4j解析ssh_pcap4j_
09-29
使用pcap4j 进行 流量数据捕获，流量包解析
Pcap4J实现抓包器
CT201409的博客
05-06 322
　　前段时间搞抓包程序，打算使用Pcap4J实现，发现除了GitHub，其它资料少之又少，几乎都是不起作用。 　　被迫我一直看（日本作者！）英文注解的源码和sample和test，比较费劲+营养很少。因为几乎都是解析本地保存的抓包文件 同 初始化好的包类型对象做比较，没有对真实的网络环境抓包举例。都按指定类型初始化对象不是重点好不好，重点是怎么把抓到的包转换到指定类型！ 　　说一...
pcap4j: Java的网络数据包捕获和生成库
最新发布
gitblog_00067的博客
03-14 1567
pcap4j: Java的网络数据包捕获和生成库 Pcap4J是一个Java库，用于抓取、过滤、分析和生成网络数据包。它基于libpcap（Linux）、WinPcap（Windows）和其他类似库提供的底层接口。 什么是Pcap4J？ Pcap4J是Java开发人员的强大工具，可让他们轻松地与网络数据包进行交互。该库支持多种协议，并提供了一个简单的API来处理复杂的任务。 Pcap4J的核心功...
pcap4j 实现本地抓包以及解析DNS
09-10
前段时间搞抓包程序，使用Pcap4J实现，简单写了一个demo小程序，有需要的下。
pcap4j使用教程
qq_45373631的博客
10-17 933
是java语言中用于分析事实流量和分析离线流量的封装工具。
Pcap4J抓包
weixin_43480441的博客
10-18 1158
java中使用Pcap4J抓包学习使用pacp4j 必须要先安装环境依赖WinPcap 或者 libPcap 根据你的使用环境选择。
Pcap4J抓包基本使用方法
alexsjr的博客
01-14 1万+
Pcap4J抓包基本使用方法说明：使用：第一步：第二步：抓包：例子的一些扩展：抓包后处理：Pcap4J内置支持的协议报文类型TIPS： 说明： 之前的项目需要一个Windows和Linux平台都能用的抓包模块，搜了之后发现jnetpcap、jpcap都已经很久没有更代码了，而且跨平台支持不好，所以考虑用Pcap4J。 Pcap4J和jNetPcap相同之处，都是基于libpcap/winpcap的...
fs2-pcap:使用pcap4j使用fs2捕获，制作和发送数据包的库
03-31
fs2-pcap 该项目为提供了辅助方法。 看一下以开始使用。用法build.sbt libraryDependencies + = " de.lolhens " %% " fs2-pcap " % " 0.0.3 "执照该项目使用Apache 2.0许可证。 请参阅名为LICENSE的文件。
pcap4j：一个用于捕获，制作和发送数据包的Java库
02-03
Pcap4J Pcap4J是一个Java库，用于捕获，制作和发送数据包。 Pcap4J通过包装本地数据包捕获库（ ， 或 ），并为您提供面向Java的API。内容下载Pcap4J在Maven中央存储库中可用。 Pcap4J 1.8.2 ： 带有源： 快照构建为...
pcap4j, 用于捕获制作和发送包的Java库.zip
10-10
pcap4j, 用于捕获制作和发送包的Java库 日本 徽标 Pcap4JPcap4J是一个用于捕获，制作和发送数据包的Java库。 Pcap4J通过 JNA插件包装一个本地包捕获库，并提供面向java的api 。电子邮件内容下载为什么Pca
使用Pcap4j实现一个抓包工具
weixin_30500105的博客
08-23 1015
Troubleshooting是我平时工作中的重要内容，我几乎每天都会花一些时间在定位客户环境的问题上，有很多的问题都需要通过抓包来协助分析，比如定位SSL handshake失败，SNMP请求没响应的问题等。Linux平台一般使用tcpdump抓包，由于我们只能通过远程脚本调用的方式执行，所以对windows我没法使用wireshark之类的GUI工具，所以一般用netsh( 参考资料3)进行抓...
Java抓包分析四（基于jnetpcap进行抓包）——分析Http请求数据包
热门推荐
歪桃的博客
09-12 1万+
基于jnetpcap解析http数据包
pcap4j编写内网扫描器
geqiandeyu07的博客
08-09 1144
一、功能 网存活主机扫描 二、执行结果 2.1和nmap执行结果对比 eclipse 内扫描执行结果： 使用nmap扫描执行结果： 三、实现原理 参考nmap 不同网段：nmap在扫描主机时先arp包解析到网关mac地址，然后发了ping包，icmp timestamp包，http ack包，和https syn包四种探测包。 同一网段：则只发送了arp包，解析到地址的ip则判定主机存活。 四、实现过程 选用开源框架pcap4j，...
JNetCap/Pcap4j 带你快速实现java抓包器
ONE PIECE——伟大航道
05-29 4344
JNetCap/Pcap4j 带你快速实现java抓包器JNetCapPcap4j 老大说用java搞一个抓包器试试。ok，咔咔那就干： 首先，自己从底层开始写肯定不现实，然后就是一顿搜，了解到了libpcap，libpcap是个啥呢，看一看简介： Libpcap： 是 unix/linux 平台下的网络数据包捕获函数包，大多数网络监控软件都以它为基础。Libpcap 提供了系统独立的用户级别网络数据包捕获接口，并充分考虑到应用程序的可移植性。 Libpcap 在windows系统下有另外一个名字：w
java pcap4j http_使用pcap4j进行抓包
weixin_42105816的博客
02-13 1342
Troubleshooting是我平时工作中的重要内容，我几乎每天都会花一些时间在定位客户环境的问题上，有很多的问题都需要通过抓包来协助分析，比如定位SSL handshake失败，SNMP请求没响应的问题等。Linux平台一般使用tcpdump抓包，由于我们只能通过远程脚本调用的方式执行，所以对windows我没法使用wireshark之类的GUI工具，所以一般用netsh( 参考资料3)进行抓...
java pcap4j http_Java 抓包实现 - 使用pcap4j + Xpcap-Go语言中文社区
weixin_28882103的博客
02-16 798
在博客Windows 平台如何抓包中,我们介绍了windows上如何不依赖三方包进行抓包.这里我们会介绍使用Java + pcap4j +npcap/libpcap 进行抓包的代码.安装依赖这个部分描述要完成抓包的相应依赖.Windows对于windows而言,你需要npcap 或者 winpcap.WinPcap (https://www.winpcap.org/) 使用的人很多, 其中包括大名...
使用CICFlowMeter解析pcap文件
weixin_44700621的博客
12-17 3130
使用cicflowmeter工具解析pcap数据包生成csv文件，列出几种常见的问题以及成功转换的解决方案
pcap4j配置文件
02-01
pcap4j是一个基于Java的网络抓包库，用于在应用程序中进行网络数据包捕获和分析。它提供了一组API，可以让开发者轻松地进行网络抓包操作。 在使用pcap4j时，需要进行一些配置以确保库的正确运行。以下是pcap4j的配置文件介绍： 1. pcap4j.properties：这是pcap4j的主要配置文件，用于指定一些全局设置。可以在classpath下创建一个名为pcap4j.properties的文件，并在其中设置以下属性： - org.pcap4j.core.PcapNativeLibrary：指定使用的底层原生库，默认为"winpcap"。 - org.pcap4j.core.PcapsTimeoutMillis：指定打开设备时的超时时间，默认为10000毫秒。 - org.pcap4j.core.PcapsSnaplen：指定每个数据包的最大长度，默认为65536字节。 - org.pcap4j.core.PcapsPromiscuousMode：指定是否开启混杂模式，默认为false。 2. logback.xml：这是pcap4j使用的日志配置文件，用于控制日志输出的级别和格式。可以根据需要进行修改。 以上是pcap4j的主要配置文件介绍，你可以根据需要进行相应的配置。如果有其他问题，请继续提问。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值