网络安全态势感知-全流量安全分析之数据范围

参考了部分互联网内容，数据范围主要包括以下几个方面：

●完整内容数据(PCAP)

        进行数据包分析时，常用到以下三种基本技术：

        包过滤：通过各个协议的元数据或者载荷中的字段或者字段的值来分离数据包。

        模式匹配：通过对数据包的内容进行快速搜索，搜索到那些感兴趣的关键词、字符串、名称或协议模式。可以将关键词组合成正则表达式，采用辅助工具进行模式匹配。

        协议字段分析：从所捕获到的数据包中提取出协议字段中的数据。

●提取内容数据

          包字符串数据是从包捕获数据中导出来的，是介于包捕获数据和会话数据之间的一种数据格式，该数据格式包括报文协议报头中提取的明文字符串。其粒度接近于包捕获数据，但在容量上比包捕获数据更容易管理，并且可以存储较长时间。包字符串数据兼具包捕获数据的完整和会话数据的速度，对存储空间要求也不那么高，且可以根据用户需求进行自定义，因此是一种比较理想且恰当的网络安全数据类型。

●会话数据

          会话数据最常见的是标准的五元组数据

          会话数据最常见的类型有两种：NetFlow和IPFIX。

          NetFlow提供网络流量的会话级视图，记录下每个事务的信息。一个NetFlow流被定义为在一个源IP地址和目的IP地址间传输的单向数据包流，且所有数据包具有共同的传输层源、目的端口号。Netflow是会话数据的标准形式，它详细描述了网络流量的“谁、什么、何时、何地”。

          IPFIX全称为IP Flow Information Export，即IP数据流信息输出。IPFIX默认使用网络设备的七个关键属性来表示每股网络流量，即源IP地址、目的IP地址、/UDP源端口、/UDP目的端口、三层协议类型、服务类型字节、输入逻辑接口。如果不同的IP报文中所有的七个关键域都能匹配，那么这些IP报文都将被视为属于同一股网络流量。

●统计数据

●元数据

          元数据（Metadata）又称中介数据、中继数据，简单定义就是描述数据的数据。是指从信息资源中抽取出来的用于说明其特征、内容的结构化的数据(如题名,版本、出版数据、相关说明,包括检索点等)，用于组织、描述、检索、保存、管理信息和知识资源。比如，关于一本书（信息资源），我们在图书馆系统中检索可以得到如下信息，

          一个基本的元数据由元数据项目和元数据内容的构成。这里，“题名”就是它的元数据项目，“史蒂夫·乔布斯传 (美) 沃尔特·艾萨克森著 = Steve Jobs Walter Isaacson eng”就是元数据内容。再比如，“著者”、“出版者”都是元数据项目，而“艾萨克森 (Isaacson, Walter) 著”和“中信出版社”就是元数据内容。利用元数据来描述资源后，我们就可以用来做很多的事情。比如确定资源，为资源提供检索点，在不同系统之间进行数据交换。

           为了获取元数据，我们从网络活动中提取关键元素，然后利用一些外部工具来理解它。很多其他形式的元数据可以衍生自网络流量，这些元数据提供了网络威胁活动中的一些关键重要信息。如网站IP地址的WHOIS输出内容、域名的元数据。

●日志数据

         根据日志的来源，可以把日志分为物理设备日志、网络设备日志、操作系统日志和应用程序日志。

         根据日志的记录架构，可以把日志分为本地日志、远程分散日志和集中管理日志。

         日志数据可以作为网络安全态势感知的一个重要数据类型和来源，可通过集中管理控制台进行日志聚合，并通过命令行或可视化工具进行查看，以及采用特定关键词检索、过滤、活动模式识别、特征分析和关联等技术进行日志分析。

●告警数据

          告警数据是指当检测系统中某些量的值超过了所规定的界限，或者匹配到既定的检测规则，或者任何被配置检查的数据出现异常时，系统自动产生的警告信息。入侵检测系统（IDS）是告警数据的一个重要来源，它能监视和解析网络流量。安全人员能够在IDS的控制台上审查告警数据。

         网络安全态势感知对于事件的分析往往是基于告警数据生成的。关于告警与事件的区别在于，告警允许安全人员应答，而事件是指用户对系统的行为、动作，如修改了某个变量的值，或者用户的登录/注销、站点的启动/退出等，事件不需要安全人员应答。