BML-从BGP数据流中快速收集你需要的特征

        研究BGP安全的小伙伴们都知道，分析BGP安全事件容易，但是收集BGP事件的特征超难。主要的原因有两点，一点是有效特征难以构建，第二点则是基于BGP数据流的特征很难生成。今天我给大家推荐一款非常好用的BGP特征生成工具--BML。

        BML 是一种 BGP 数据集生成工具，可提取文献中的大部分已知特征，Internet 拓扑，允许用户从 BGP 数据构建特定功能。BML除了提供32 个合成特征（从BGP volume和AS Path中生成）和 14 个 BGP 图形特征，这是现有文献中的大部分已知特征，还允许用户从 BGP 数据中构建自定义特征，非常方便实用。 BML是法国留尼旺大学的Kevin Hoarau等人构建的，相关论文发布在IEEE International Conference on Communications Workshops上，原文地址是：BML: An Efficient and Versatile Tool for BGP Dataset Collection,感兴趣的小伙伴们可以去看看原文。

        BML的数据来源是RouteViews和 RIPE RIS项目提供的BGP数据，这两个项目是当前最权威的BGP路由信息收集项目，自 2000 年以来一直在收集和归档分布在世界各地的不同收集器提供的 BGP 数据。每个收集器都会接收来自其所有邻居的 BGP 更新，并相应地更新其路由信息库 (RIB)。但是BML使用的底层框架是BGPStream，它并不是直接从Routeviews和Ris中获取数据。BGPStream是CAIDA提供的一个对来自 BGP 路由信息的数据进行净化的软件，我们可以利用BGPStream净化后的 BGP 数据需要进行转换以提取有用信息，这个软件以后有机会咱们再细讲。        

        在研究BGP安全的文献中，广泛采用的特征是从BGP数据转换提取的特征。这些特征分为不同的类别：i) 反映 BGP 稳定性的volume特征和反映拓扑变化的 AS-PATH 特征；ii) 反映 BGP 底层图结构的图特征。BML的目标就是方便的从 BGP 数据中提取所有特征。

1. 技术框架

        BML通过自动化 BGP 的部分工作流程，让 BGP 专家和机器学习从业者能够专注于开发和评估 BGP 或 ML 模型。BML的目标是通过确保以下几点来加快模型的迭代：

• 首先，构建和更新数据集只需要确定感兴趣的时段和一组参数；
• 其次，改变 ML 模型和/或数据转换不需要重新收集 BGP 数据。
• 

        想要使用BML，你得先确定你感兴趣的时间段。如果你是研究安全的，那也就是你关注的事件的发生时间段。一旦在步骤➊中确定了感兴趣的时间段，在步骤➋中，BML 就会使用特定的数据结构自动收集数据。对于每个感兴趣的时间段，BML 会提取 BGP 路由的周期性快照，并在第➌步生成无损且存储高效的表示。在第➍步中，BML 提出了辅助函数，以简化数据转换的开发，从而满足用户或 ML 模型的要求。转换函数的输出可用于解释或训练和测试 ML 模型（步骤➎）。

        

      在 BML 中，值得纳入数据集的事件称为感兴趣期。时间戳位于 间隔内的来自选定收集器的所有 BGP 更新都将包含在数据集中。由于BGP协议是增量式的，因此BGP数据的收集面临着一个冷启动问题，即你确定的感兴趣的时间不一定在收集项目的单位收集时间内，因此BML设置了一个初始数据收集期，也叫引导期。在这个时期，BGP 数据会在感兴趣的时期之前收集。引导期数据以路由快照的形式存储，路由快照由算法1获得。这种表示方式减少了存储空间。默认的初始化周期设置为10小时，平均需要20MB的存储空间，而关注时段每小时需要75MB的存储空间。因此，对于BML，最重要的参数主要包括三个：