NetFlow V9协议解析使用教程（一）

最新推荐文章于 2023-09-18 10:39:00 发布
最新推荐文章于 2023-09-18 10:39:00 发布
阅读量6.8k 收藏 8
点赞数
分类专栏： 安全 文章标签： Netflow v9 解析 数据包格式 nfdump
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u011311291/article/details/90412984
版权

NetFlow V9协议解析使用教程（一）
NetFlow V9协议解析使用教程(二)-配置，采集，处理NetFlow
一.IPFIX和Netflow（以下对协议的解释都来自百度百科）
IPFIX全称为IP Flow Information Export，即IP数据流信息输出，它是由IETF公布的用于网络中的流信息测量的标准协议。
该协议主要在于：
l 统一 IP数据流的统计、输出标准，这使得网络管理员很容易地提取和查看存储在这些网络设备中的重要流量统计信息。
l 输出格式具有较强的可扩展性，因此如果流量监控的要求发生改变，网络管理员也可通过修改相应配置来实现，不必升级网络设备软件或管理工具。
IPFIX 定义的格式以Cisco Netflow Version 9数据输出格式作为基础，可使IP流量信息从一个输出器（Exporter）传送到收集器（Collector）。因为IPFIX 是一种针对数据流特征分析、基于模板的格式输出的协议，因此具有很强的可扩展性，对于不同的需求都可以定义不同的数据格式。
为了较完整的输出数据，IPFIX 缺省使用网络设备的七个关键域来表示每股网络流量：
1 源 IP 地址
2 目的IP 地址
3 TCP/UDP 源端口
4 TCP/UDP 目的端口
5 三层协议类型
6 服务类型（Type-of-service）字节
7 输入逻辑接口
如果不同的IP 报文中所有的七个关键域都匹配，那么这些IP 报文都将被视为属于同一股流量(单向)。通过记录网络中这些流量的特征，如流量持续时间、流量中报文平均长度等， 我们可以了解到当前网络的应用情况，并根据这些信息对网络进行优化，安全检测，流量计费。
流的开始时间容易判断，但是判断流的结束时间比较难
**流的开始:**即新流第一个包的时间。
流的结束:
1.传输协议出现连接结束标志,例如TCP FIN or RST。
2.无流量超过N秒，发生在UDP或者TCP双方掉线等情况(这个N可以在路由器上配置，可以取15秒,路由器默认1800秒)
3.对于长期存在的活跃流，需要保证及时的周期性的输出，路由器一般默认配置1800秒。
4.缓存满了，一般路由器默认缓存流的个数为4096

二.Netflow和SFlow
在这里插入图片描述
三.Netflow v9数据包类型
参考rfc3954中文版.pdf，百度可下载
对于不同的交换机或者路由器，会产生不同的Netflow数据包,但大体就也是Packet Header(包头),Template FlowSet(模板数据集)，Data FlowSet(数据集)，Options Template FlowSet(可选模板数据集)
例如:
(1)由模板、信息和可选模板三种数据流汇总组成的输出数据包。
在这里插入图片描述
(2)全部由信息数据流汇总组成的输出数据包
在这里插入图片描述
(3)全部由模板和可选模板数据流汇总组成的输出数据包
在这里插入图片描述
四.Netflow 数据包格式
(1)Packet Header包头
看图上的数字让人有点疑惑，可以不看，一行表示8个字节例如，Version Number 4字节，Count 4字节，sysUptime 8字节
在这里插入图片描述
version
输出数据包的数据流记录格式的版本号，最新的版本为9。
count
表示输出数据包中模板、信息、可选模板汇总记录的总数量。
SysUpTime
设备启用后的运行时间（毫秒级计数）。
UNIX Secs
输出数据包从输出器发出后经历的时间（秒级计数）
Sequence Number
该序列数字随着某个观察域中的输出器输出的输出数据包数量累积增加，能够被收集器用来判断是否有输出数据包丢失的现象。
Source ID
用来标示输出器所处的观察域（用32bit的数值来表示），收集器可以根据数据包的源IP地址和Source ID字段来区分同一个输出器输出的不同输出流。

(2)Template FlowSet模板数据格式
在这里插入图片描述
FlowSet ID=0
数据流汇总ID的值为0，该值是专门保留给模板数据流汇总ID使用的。
Length
长度值是整个数据流汇总所有字段长度的总和。由于某些模板数据流汇总可能包含了多个模板记录，因此我们必须使用一个长度值来确定下一条任何类型的数据流汇总的位置。
Template ID
每一个生成的模板记录都会被分配一个唯一的模板ID。模板ID的唯一性在一个本地的观察域中有效，0-255的模板ID被预留出来给模板数据流汇总、可选数据流汇总和其它尚待开发的数据流汇总使用。信息数据流汇总则使用256-65535之间的模板ID值。
Field Count
一个模板记录中字段的数量。因为一个模板数据流汇总中通常有多个模板记录，这些字段的计数能够帮助收集器界定一条模板记录和下一条模板记录的分界点。
Field Type
一个表示该字段类型的数字值，具体请参考“字段类型定义”一节。
Field Length
一个表示相应类型字段的长度值，以字节为单位。

(3)Data FlowSet(数据集)
在这里插入图片描述
FlowSet ID = Template ID
每一条信息数据流汇总都会有自己的数据流汇总ID，这个汇总ID和模板数据流汇总中的模板ID一致。收集器可以根据这个信息数据流汇总ID来查找相应的模板并对信息记录进行解析。
Length
指的是整个信息数据流汇总报文的总长度。
Record N - Field Value M
信息数据流汇总剩余的部分是数据流信息记录的集合，里面包含了字段的具体数值，而这些字段的类型和长度已经在先前描述的模板记录中定义好了，我们可以根据数据流汇总ID和模板ID找到它们。
Padding
输出器将根据需要在数据流汇总中插入一些填充字节使得其符合每段4字节的大小。注意：报文格式中的length字段的值已经计算了填充字节的大小，填充字节的数值全部是0。

(4)Options Template FlowSet(可选模板数据集)
这里不再描述，可查看rfc3954中文版.pdf

五.现实Netflow例子
在路由器上配置了Netflow,并使用nfdump工具接收Netflow数据包
一般netflow会先发Template FlowSet模板数据包，然后再发只有Data FlowSet的数据包
(1)Template FlowSet数据包，一串2进制，然后按格式展开换行,里面的field type值对应的意思查看rfc3954中文版.pdf

00:09:输出数据包的数据流记录格式的版本号，最新的版本为9。
00:01:表示输出数据包中模板、信息、可选模板汇总记录的总数量。
15:5a:ea:14:设备启用后的运行时间（毫秒级计数）
5c:e2:ea:8d:输出数据包从输出器发出后经历的时间（秒级计数）
00:00:1f:28:
02:00:00:00:
------------------------------------------------------------------------------以上属于package header
00:00:FlowSet ID=0表示为模板数据流
00:2c:数据流的长度44
01:17:模板数据流的编号,0-255预留给模板、可选数据流使用，256-65535为信息数据流使用
00:09:Field Count，该模板的字段数量9个
00:0c:Field Type，这里000c为IPV4_DST_ADDR，ipv4目的地址
00:04:Field Length
00:08:IPV4_SRC_ADDR，ipv4源地址
00:04:
00:07:L4_SRC_PORT
00:02:
00:0b:L4_DST_PORT
00:02:
00:05:TOS,入端口插入的服务类型字段
00:01:
00:04:PROTOCOL
00:01:
00:3c:IP_PROTOCOL_VERSION
00:01:
00:01:IN_BYTES，入方向的IP数据流的长度戳，按N*8比特位为一个计数单位，N默4
00:04:
00:02:IN_PKTS，入方向的IP数据流的数据包数量戳，按N*8比特位为一个计数单位，N默认为4
00:04

(2)Data FlowSet

00:09:输出数据包的数据流记录格式的版本号，最新的版本为9。
00:23:表示输出数据包中模板、信息、可选模板汇总记录的总数量。
15:47:0c:24:设备启用后的运行时间（毫秒级计数）。356977000
5c:e2:e5:77:输出数据包从输出器发出后经历的时间（秒级计数）
00:00:1e:ef:
02:00:00:00:
------------------------------------------------------------------------------以上属于package header
01:17: FlowSet ID = Template ID，信息数据流格式
00:1c: 数据流长度28
14:14: Record 1 - Field Value 1
15:0a: Record 1 - Field Value 2
14:14: Record 1 - Field Value 3
14:0d:
85:d6:00:35:00:11:04:00:00:01:44:00:00:00:04:00:01:17:00:1c:14:14:15:0a:14:14:14:0d:a0:42:00:35:00:11:04:00:00:01:84:00:00:00:04:00:01:17:00:1c:14:14:15:0a:14:14:14:0d:83:8a:00:35:00:11:04:00:00:01:44:00:00:00:04:00:01:17:00:1c:14:14:15:0a:14:14:14:0d:a9:4f:00:35:00:11:04:00:00:01:84:00:00:00:04:00:01:17:00:1c:14:14:15:0a:14:14:14:0d:9e:4d:00:35:00:11:04:00:00:01:44:00:00:00:04:00:01:17:00:1c:14:14:15:0a:14:14:14:0d:be:3f:00:35:00:11:04:00:00:01:84:00:00:00:04:00:01:17:00:1c:14:14:15:0a:14:14:14:0d:9c:2c:00:35:00:11:04:00:00:01:44:00:00:00:04:00:01:17:00:1c:14:14:15:0a:14:14:14:0d:94:d3:00:35:00:11:04:00:00:00:c2:00:00:00:02:00:01:17:00:1c:14:14:15:0a:14:14:14:0d:bc:c1:00:35:00:11:04:00:00:00:c2:00:00:00:02:00:01:17:00:1c:14:14:15:0a:14:14:14:0d:8d:dd:00:35:00:11:04:00:00:00:a2:00:00:00:02:00:01:17:00:1c:14:14:15:0a:14:14:14:0d:ca:ed:00:35:00:11:04:00:00:00:a2:00:00:00:02:00:01:17:00:1c:14:14:15:0a:14:14:14:0d:90:32:00:35:00:11:04:00:00:00:c2:00:00:00:02:00:01:17:00:1c:14:14:15:0a:14:14:14:0d:c4:6c:00:35:00:11:04:00:00:00:c2:00:00:00:02:00:01:17:00:1c:14:14:15:0a:14:14:14:0d:dd:b8:00:35:00:11:04:00:00:00:a2:00:00:00:02:00:01:17:00:1c:14:14:15:0a:14:14:14:0d:b2:39:00:35:00:11:04:00:00:00:a2:00:00:00:02:00:01:17:00:1c:14:14:15:0a:14:14:14:0d:ca:94:00:35:00:11:04:00:00:00:c2:00:00:00:02:00:01:17:00:1c:14:14:15:0a:14:14:14:0d:d9:4e:00:35:00:11:04:00:00:00:c2:00:00:00:02:00:01:17:00:1c:14:14:15:0a:14:14:14:0d:8b:d9:00:35:00:11:04:00:00:00:a2:00:00:00:02:00:01:17:00:1c:14:14:15:0a:14:14:14:0d:e9:7c:00:35:00:11:04:00:00:00:a2:00:00:00:02:00:01:17:00:1c:14:14:15:0a:14:14:14:0d:d5:ea:00:35:00:11:04:00:00:00:c2:00:00:00:02:00:01:17:00:1c:14:14:15:0a:14:14:14:0d:ab:29:00:35:00:11:04:00:00:00:c2:00:00:00:02:00:01:17:00:1c:14:14:15:0a:14:14:14:0d:d0:0a:00:35:00:11:04:00:00:00:a2:00:00:00:02:00:01:17:00:1c:14:14:15:0a:14:14:14:0d:84:81:00:35:00:11:04:00:00:00:a2:00:00:00:02:00:01:17:00:1c:14:14:15:0a:14:14:14:0d:d3:4a:00:35:00:11:04:00:00:00:c2:00:00:00:02:00:01:17:00:1c:14:14:15:0a:14:14:14:0d:a4:28:00:35:00:11:04:00:00:00:c2:00:00:00:02:00:01:17:00:1c:14:14:15:0a:14:14:14:0d:b4:a1:00:35:00:11:04:00:00:00:a2:00:00:00:02:00:01:17:00:1c:14:14:15:0a:14:14:14:0d:b1:29:00:35:00:11:04:00:00:00:a2:00:00:00:02:00:01:17:00:1c:14:14:15:0a:14:14:14:0d:88:67:00:35:00:11:04:00:00:00:c2:00:00:00:02:00:01:17:00:1c:14:14:15:0a:14:14:14:0d:d6:27:00:35:00:11:04:00:00:00:c2:00:00:00:02:00:01:17:00:1c:14:14:15:0a:14:14:14:0d:b0:d1:00:35:00:11:04:00:00:00:a2:00:00:00:02:00:01:17:00:1c:14:14:15:0a:14:14:14:0d:97:06:00:35:00:11:04:00:00:00:a2:00:00:00:02:00:01:17:00:1c:14:14:15:0a:14:14:14:0d:8a:c6:00:35:00:11:04:00:00:00:c2:00:00:00:02:00:01:17:00:1c:14:14:15:0a:14:14:14:0d:e6:8e:00:35:00:11:04:00:00:00:c2:00:00:00:02:00:01:17:00:1c:14:14:15:0a:14:14:14:0d:b6:cc:00:35:00:11:04:00:00:00:a2:00:00:00:02:00:01:17:00:1c:14:14:15:0a:14:14:14:0d:bd:7d:00:35:00:11:04:00:00:00:a2:00:00:00:02:00
就不展开了
姚贤贤
关注
  • 0
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 4
    评论
专栏目录
网络安全系列-十六: IPFIX【IP数据流信息输出】消息格式及模板介绍
penriver的博客
04-18 4010
IPFIX: IP Flow Information Export，即P数据流信息输出，它是由IETF公布的用于网络中的流信息测量的标准协议. IPFIX是IETF的一个工作组，它的主要工作就是制订用于IP网络中的流信息测量标准协议，称为IPFIX协议。 IPFIX 定义的格式以Cisco Netflow Version 9数据输出格式作为基础，可使IP流量信息从一个输出器（Exporter）传送到收集器（Collector） 本文针对IPFIX的消息格式及数据模板进行介绍
锐捷网络——网络管理和监控—IPFIX功能常见问题以及常见故障
最新发布
君逍遥o
09-19 391
IPFIX 全称为IP Flow Information Export，即IP数据流信息输出，它是由IETF公布的用于网络中的流信息测量的标准协议。
Netflow v9协议解析
neterpaole的专栏
01-21 1万+
概述 Netflow的基本组成元素是flow record。Netflow v9的典型特性就是基于模板，好处是Netflow可以方便灵活地增加新特性，并且不影响第三方监测应用。 术语 FlowSet: 是FlowRecord的集合。包括Template FlowSet和Data FlowSet，而且可能在同一个导出包Exported packet中，如下图所示。虽然通常template fl
netflowv9介绍及数据包格式
红梅花儿开
07-09 5002
1，简介netflow是Cisco公司提出的用于描述通过路由器的连接信息的协议。路由器也象防火墙一样不仅仅是按包处理，而是跟踪到连接一层，对属于同一个连接的数据包进行统计，某种程度上也成了状态检测，路由器将这些连接信息使用netflow协议发送到netflow搜集器，根据连接的统计信息可得到网络运行的各种信息，还可用来判断是否受到攻击。netflow已经出过很多版本，目前应用较多的netf
【NetFlow】NetFlow V9协议详细分析
三也_攻城狮
05-09 2万+
无意中发现了一个巨牛的人工智能教程，忍不住分享一下给大家。教程不仅是零基础，通俗易懂，而且非常风趣幽默，像看小说一样！觉得太牛了，所以分享给大家。点这里可以跳转到教程。 摘自百度百科 Netflow技术最早是于1996年由思科公司的Darren Kerr和Barry Bruins发明的，并于同年5月注册为美国专利，专利号为6,243,667。Netflow技术首先被用于网络设备对数据交...
锐捷网络——网络管理和监控—IPFIX配置案例_IPV4网络
君逍遥o
09-18 645
IPFIX 是基于“流”的概念。网络设备以七个关键域来表示每股网络流量：源 IP 地址、目的IP 地址、源端口、目的端口、三层协议类型、服务类型（Type-of-service）字节、输入逻辑接口。如果不同的IP报文中所有的七个关键域都匹配，那么所有这些IP报文都将被视为属于同一股流量。通过记录网络中这些流量的特征，如流量持续时间、流量中报文平均长度等，我们可以了解到当前网络的应用情况，根据这些信息对网络进行优化、安全检测、流量计费。
NetFlow学习笔记
热门推荐
可木的专栏
03-19 4万+
NetFlow是一种数据交换方式。Netflow提供网络流量的会话级视图，记录下每个TCP/IP事务的信息。也许它不能象tcpdump那样提供网络流量的完整记录，但是当汇集起来时，它更加易于管理和易读。Netflow由Cisco创造。   工作原理：NetFlow利用标准的交换模式处理数据流的第一个IP包数据，生成NetFlow 缓存，随后同样的数据基于缓存信息在同一个数据流中进行传输，不再匹
netflow报文格式与数据处理流程分析_RTK、三维激光扫描、无人机倾斜摄影在大比例尺地形图测绘的对比分析...
weixin_39862697的博客
11-17 309
［摘 要］ 本文研究RTK、三维激光扫描和无人机三种地形图测绘的方法。RTK采用传统单点测图的方法，三维激光扫描采用三维点云测绘图的方法，无人机采用三维实景模型测图的方法。研究结果表明：大场景的地形图测绘，采用RTK进行单点测图测量精度受地理环境因素影响较大、效率较低，但成本较低。采用三维激光扫描和无人机进行测图测量精度受地理环境因素影响较小、效较高，但成本较高。因此，针对不同要求的地形...
流技术安全系统-流量流向监控技术
IT乌托邦官方博客
11-14 1万+
流技术基础 1. 流量流向监控技术         1.1 流量流向监控技术         关键字:SNMP采集   RMON探针 网络流量检测技术(NetFlow,NetStream,Sflow,Cflowd和IPFIX)  nprobe         1.2 相关设备及厂家 思科(Cisco) ,3Com,华为(Huawei),H3C等 2.Netflow 2.1 V
netflow_v9：生锈的netflow v9数据包解析器
02-04
netflow_v9：生锈的netflow v9数据包解析器
netflow v5/v9 ipfix流生成工具
02-12
netflow v5/v9 ipfix流生成工具
开源的NETFLOW分析工具支持v5,v9
10-30
Java Netflow Collect/Analyzer uses pure Java to collect netflow v1 v5 v7 v8 v9 UDP packets from cisco routers. It stores both raw data or analyzed contents to DB thru JDBC and can be used in large enterprises or ISPs. JNC beta is ready JNA is underway. 主题：监控() 编程语言：Java() 界面类型：Java Swing 支持语种：中文简体 操作系统：OS Independent (Written in an interpreted language) 许可类型：Academic Free License (AFL) 适用对象：电信行业 开发状态：4 - Beta版 数据库环境：JDBC
libfc:C++中的IPFIX实现
06-06
libfc - C ++ 中的 IPFIX 实现，具有 C 的绑定 （以下部分摘自PlacementTemplate.h和ipfix.h的 doxygen 注释。） IPFIX 简介 IPFIX 有时称为自描述格式。 为了自我描述，IPFIX 消息包含描述数据记录格式的模板记录，其中包含内容。 模板记录基本上是说：“嗨，我是一个标识号为 1234 的模板记录。在此消息的后面，可能有数据记录的集合，称为数据集，也具有标识号 1234。这意味着该数据集中的记录将具有以下结构：[...]”然后通过提供信息元素序列（以及它们出现在线路上时的编码长度）来描述该结构。 例如，流模板记录的简化版本可能如下所示： 浏览器名称 长度 flowStartMilliseconds 8 flowEndMilliseconds 8 源IPv4地址 4 目标IPv4地址 4 源传输端口 2 目的地运输
netflow v5报文
09-04
netflow v5真实报文，可以用wireshark软件打开
RFC3954中文版
06-20
本文档采用Cisco系统公司的Netflow v9作为数据输出格式，并用于网络基础流量收集 和分析使用。V9版本的输出格式能够以模板方式对IP数据流进行灵活的、可扩展的收集、 整理和呈现。每个模板都定义了对IP数据流收集的字段以及这些字段所对应的描述、结构 和语义。
netflow_v9详解.pdf
07-03
思科的netflow主要版本有V1、V5、V7、V8...对于Ipv4的流量既可以使用v5版本进行采集，也可以使用v9版本聚合采集，但是ipv6的流量只能使用V9版本进行采集。以下重点说明思科netflow v5、v9版本和netstream v5、v9版本。
netflow协议详解
06-11
netflow协议详解，内部包含netflow协议分析，netflow数据包分析等
python实现构造netflow v9格式文件
03-12
python实现构造netflow v9格式文件
netflow 数据格式
addseconder的专栏
09-26 3529
NetFlow数据格式 NetFlow以UDP数据报（datagram）的形式，采用下面两种格式的中的一种来输出信息流：“版本1”（version 1）的格式是最初发布的格式；“版本5”（version 5）格式是后来的一种加强格式，它增加了边界网关协议（BGP-Border Gateway Protocol）的AS信息和信息流的序列号。而版本2到版本4并没有发布。在版本1和版本5
Netflow V9 收集器如何可视化
06-10
Netflow V9收集器可以通过各种工具进行可视化展示。以下是一些常用的Netflow可视化工具： 1. PRTG Network Monitor：PRTG是一款功能强大的网络监控工具，支持Netflow V9数据的收集和可视化展示。它可以生成各种图表，如流量趋势、应用程序使用情况、IP地址使用情况等。 2. SolarWinds NetFlow Traffic Analyzer：这是一款专门用于Netflow数据分析的工具，可以帮助用户识别网络流量中的异常情况、优化网络性能，并提供实时的网络流量数据分析和报告。 3. ManageEngine NetFlow Analyzer：这是一款全面的网络流量分析工具，可以收集和分析Netflow V9数据，提供各种图表和报告来展示网络流量的使用情况、应用程序使用情况、QoS等信息。 4. ELK Stack：这是一个开源的日志分析平台，可以将Netflow V9数据导入到Elasticsearch中进行索引和搜索，使用Kibana进行可视化展示。用户可以根据需要自定义图表和报表。 总之，Netflow V9收集器的可视化展示需要使用专门的工具进行。这些工具可以帮助用户更好地理解网络流量的使用情况，并优化网络性能和安全。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值