研究型论文_具有 ExtraTrees 特征选择、极限学习机集成和 softmax 聚合的多层入侵检测系统（英文论文）

Multi-layer intrusion detection system with ExtraTrees feature selection, extreme learning machine ensemble, and softmax aggregation

论文摘要

基于机器学习的入侵检测系统的最新进展确实优于其他技术，但在检测多类攻击时却难以达到较高的准确率。我们提出了一种分三个阶段工作的方法。

1. 首先，使用ExtraTrees分类器为每种攻击类型分别选择相关特征。
2. 然后，利用ELM的集成分别检测每种类型的攻击。
3. 最后，利用softmax层对所有ELM的结果进行组合，对结果进行细化，进一步提高精度。

我们的系统背后的直觉是，多类分类与二元分类相比是相当困难的。因此，我们将多类问题分成多个二进制分类。

我们在UNSW和KDDcup99数据集上测试了我们的方法。结果清楚地表明，我们提出的方法能够优于所有其他方法，具有较高的利润率。该系统在UNSW和KDDcup99数据集上的多分类准确率分别为98.24%和99.76%。

此外，我们使用加权极端学习机来缓解攻击分类不均衡的问题，进一步提高了性能。最后，利用gpu并行实现入侵检测系统的集成，实现实时入侵检测。

论文解决的问题

1. 提出了一种使用ExtraTree进行特征选择的想法。
2. 提出了一种使用WELM（加权极限学习机）的集成思想，既能进行多分类，又能缓解数据集不平衡。

1.模型结构

说明：

1. 对于第一个极限学习机（ELM）而言，我们用一个ExtraTree为Normal类型的样本进行特征选择，然后用极限学习机对这个已经进行过特征选择的样本进行训练，得到一个训练好的极限学习机$EL{M}_1$（注意$EL{M}_1$只是一个二分类器，如果样本为Normal，则输出1；为其他类型，则输出0）。
2. 以此类推，对每个类型都执行上面的操作，会获得$EL{M}_2、EL{M}_3...、EL{M}_N$，即有N个类型的样本， 就训练N个ELM
3. 最后使用softmax层对每个极限学习机的结果进行集成，得到最终结果

2.ExtraTree特征选择

ExtraTree：极限随机树，是随机森林的一个变种，相比于随机森林，它的每个树都使用原始数据集，不进行随机选择样本这步操作。并且在进行分裂节点时，不采用基于信息增益，Gini系数等方法，而是随机选择一个特征进行分裂。

特征选择：这步感觉论文并没有讲清楚，所以我觉得可以使用随机森林进行特征选择的方法进行特征选择。

3.极限学习机

参考资料：极限学习机

可以先看一下上面的参考资料了解一下极限学习机，本文在它的基础上进行了改进，为每个极限学习机加权以减轻数据集不平衡的问题。

具体改进在于：
求$H$的广义逆：

注意：此时的W是一个n*n的对角矩阵（n为label个数），对角线是就是为每个类型分配的权重。

至于权重如何分配，可以自行百度，选择任意算法。

4.softmax层

对每个ELM的输出而言，只有0和1。所以如果某ELM判断该样本label=1，则表示为$y_i=1$，判断该样本label=0，则表示为$y_i=0$，用以下公式计算样本属于某$类型i$的概率：

计算完该样本属于每个类型i的概率完之后会得到一个N元组$（y_1，y_2，...，y_n）$（注意此时的$y_i$对应上面的$f(y{)}_i$）,用以下公式计算出结果的交叉熵损失：

此时的$t_i$我们也把它变成N元组，比如如果样本i属于Normal类型，则$t_i=(1,0,0...,0)$。