流量数据集学习

流量数据集学习

CIC-IDS2017

1. 数据集评估框架

   （1）完整的网络配置：完整的网络拓扑结构包括调制解调器、防火墙、交换机、路由器和各种操作系统，如Windows、Ubuntu和Mac OS X。

   （2）完整的流量：在受害网络和攻击网络中有一台用户配置代理和12台不同的机器。

   （3）标签数据集：显示了每天的良性和攻击标签。

   （4）完整的交互：通过使用两个不同的网络和Internet通信，我们涵盖了内部LAN和内部LAN之间的交互。

   （5）完全捕获：因为我们使用镜像端口，比如tap系统，所以所有的流量都被捕获并记录在存储服务器上。

   （6）可用协议：提供所有通用可用协议的存在，如HTTP、HTTPS、FTP、SSH和电子邮件协议。

   （7）攻击多样性：包括基于Web、蛮力、DoS、DDoS、渗透、心脏出血、Bot、扫描等基于2016年McAfee报告的最常见攻击。

   （8）异构性：在攻击执行期间，从主交换机、内存转储和所有受害机器的系统调用捕获网络流量。

   （9）特征集：使用CICFlowMeter从生成的网络流量中提取80多个网络流特征，并将网络流数据集作为CSV文件交付。

   （10）元数据：完整解释了论文中包含时间、攻击、流程和标签的数据集。

2. 数据捕获日程

   周一，正常活动，11.0G
   周二，攻击 + 正常活动，11G （蛮力攻击）
   周三，攻击 + 正常活动，13G （拒绝服务/DDoS）
   周四，攻击 + 正常活动，7.8G （Web攻击（蛮力、XSS、SQL）、渗透）
   周五，攻击 + 正常活动，8.3G （僵尸网络、端口扫描、DDoS LOIT）

3. 每种攻击的顶级特征

论文：
Iman Sharafaldin、Arash Habibi Lashkari 和 Ali A. Ghorbani，“Toward Generating a New Intrusion Detection Dataset and Intrusion Traffic Characterization”，第四届信息系统安全和隐私国际会议 (ICISSP)，Purtogal，2018 年 1 月

4. 数据集处理

   链接

CIC-IDS2018

1. 数据捕获日程

   2018-2-14，FTP-BruteForce
   2018-2-14，SSH-Bruteforce

   2018-2-15，DoS-GoldenEye
   2018-2-15，DoS-Slowloris

   2018-2-16，DoS-SlowHTTPTest
   2018-2-16，DoS-Hulk

   2018-2-20，DDoS attacks-LOIC-HTTP
   2018-2-20，DDoS-LOIC-UDP

   2018-2-21，DDoS-LOIC-UDP
   2018-2-21，DDoS-HOIC

   2018-2-22，Brute Force -Web
   2018-2-22，Brute Force -XSS
   2018-2-22，SQL Injection

   2018-2-23，Brute Force -Web
   2018-2-23，Brute Force -XSS
   2018-2-23，SQL Injection

   2018-2-28，Infiltration

   2018-3-01，Infiltration

   2018-3-02，Bot