流量数据

参考《网络异常检测算法研究》王子玉

流量数据在异常检测领域，常用的流量数据类型主要有三种，SNMP数据，流数据和原始包（RAW）数据。

SNMP数据

SNMP数据是指通过SNMP协议（简单网络管理协议）采集到的关于网络设备的统计数据。SNMP是由IETF（互联网工程工作小组）定义的用于网络管理的标准协议SNMP协议主要由管理工作站，管理代理和被管理设备三部分组成。被管理设备可以是主机、集线器、交换机、路由器等网络设备。管理代理负责收集、设置和监控被管理设备的状态、属性、统计数据等，并将这些信息存储于管理信息库（management information base，MIB）中。管理工作站负责监控管理代理的状态，并向管理代理发送查询请求。管理代理则在管理信息库中搜索相应信息，回复给管理基站。当管理代理发现被管理设备状态异常时，也可以主动向管理工作站发送报告。通过SNMP协议采集流量数据的优点是配置简单，对被管理设备的影响较小；缺点是得到的信息过于笼统，粒度过粗，无法区分不同的业务、不同的服务类型、不同的连接和应用等。

流数据

根据RFC3917，流（IPFlow）的定义如下：流经一个网络设备的具有某些共同特性（Common Properties）的数据包构成的单向序列。这些共同特性可以是IP地址、端口（Port）号、下一跳IP地址、输出接口（Interface）、MPLS标签的数目等。由此可见，流的定义是非常灵活的，可以根据网络状况和实际需要而确定。例如，思科公司的Netflow V5标准将流的共同特性设定为
输入接口(Ingress Interface)
源IP地址
目的IP地址
传输层协议号
TCP/UDP源端口号
TCP/UDP目的端口号，ICMP的类型和编码
IP服务类型（Type of Service）在随后的Netflow V9标准中，又增加了源和目的MAC地址、包长度、时间戳、自治系统号等特性。目前工业界主流的流采集技术有：思科开发的Netflow ，惠普、InMon、Foundry和Extremed Networks联合开发的Sflow，Juniper开发的Jflow以及华为开发的Netstream等。流数据记录了不同类型业务的分布、网络连接的源地址和目的地址、不同应用的流量等信息，对于网络运营人员监控流量、调整和分配带宽以及规划链路容量提供了极大的帮助。流数据不但能够提供足够详细的流量信息，而且对海量的网络流量进行了一定程度的提炼和概括，减轻了数据存储和处理的负担。因此，流数据在网络测量和流量工程等领域得到了越来越多的应用。

原始包（RAW）数据

顾名思义，RAW数据就是将流经观测点的数据包原封不动地保存下来。获取RAW数据要经过两个阶段一流量复制阶段和流量采集阶段。流量复制阶段是指将经过观测点的流量复制转发给流量采集设备的过程。一般来说，业界有以下４种流量复制方法：
端口镜像：路由器通常会提供端口镜像的功能，通过硬件电路将所有流经的数据报复制一份到另外一个单独的端口，并经由此端口转发给数据采集设备。

分光器（Fiber Optic Splitter）：分光器由一个上行接口和若干个下行接口组成。分光器将从上行接口接收的光信号分配或复制到各个下行接口。分光器是一种无源器件，无需额外的能量源。分光器复制的信号相较原始信号会有一定程度的损失，因而嵌套的分光器一般不会超过３层。

集线器：集线器将从一个端口接收的信号广播到其他所有的端口，效率较低，仅适用于低速网络。