ipfix

IPFIX技术组网

　　IPFIX 是基于“流”的概念，一个流是指，来自相同的子接口，有相同的源和目的IP 地址，协议类型，相同的源和目的协议端口号，以及相同ToS 的报文，通常为5 元组。IPFIX 会记录这个流的统计信息，包括：时间戳，报文数，总的字节数。IPFIX 主要包括三个设备Export、Collector、Analyzer，三个设备之间的关系如下。

　　Export 对网络流进行分析处理，提取符合条件的流统计信息，并将统计信息输出Collector ；

　　 Collector 负责解析Export的数据报文，把统计数据收集到数据库中，可供Analyser 进行解析；

　　Analyser 从Collector 中提取统计数据，进行后续处理，为各种业务提供依据,以图形界面的形式显示出来。

Netflow

NetFlow是一种数据交换方式。Netflow提供网络流量的会话级视图，记录下每个TCP/IP事务的信息。也许它不能象tcpdump那样提供网络流量的完整记录，但是当汇集起来时，它更加易于管理和易读。Netflow由Cisco创造。

工作原理：NetFlow利用标准的交换模式处理数据流的第一个IP包数据，生成NetFlow 缓存，随后同样的数据基于缓存信息在同一个数据流中进行传输，不再匹配相关的访问控制等策略，NetFlow缓存同时包含了随后数据流的统计信息。NetFlow有两个核心的组件：NetFlow缓存，存储IP流信息；NetFlow的数据导出或传输机制，NetFlow利用此机制将数据发送到网络管理采集器。

概念：一个NetFlow流定义为在一个源IP地址和目的IP地址间传输的单向数据包流，且所有数据包具有共同的传输层源、目的端口号。

确定Flow的标识：SIP+DIP+SPORT+DPORT +Layer 3 protocol type + TOS byte() + Router or switch interface

数据采集格式

　　NFC(Cisco NetFlow Collector) 可以定制多种NetFlow数据采集格式，下例为NFC2.0采集的一种流量数据实例，本文的分析都基于这种格式。

61.*.*.68|61.*.*.195|64917|Others|9|13|4528|135|6|4|192|1

　　数据中各字段的含义如下：

　　 源地址|目的地址|源自治域|目的自治域|流入接口号|流出接口号|源端口|目的端口|协议类型|包数量|字节数|流数量

vmware-go-ipfix

GitHub地址：https://github.com/vmware/go-ipfix

提供了一个简单的Collector功能，负责解析模板和数据。

vflow

vflow提供了多种协议的collector功能，是一个完整的服务，将收集上来的数据序列化之后放入消息队列中，自己需要编写程序从消息队列中读取，支持kafka，nasq等类型的消息队列