极限学习机应用于入侵检测（一）

引言

    最近读了一篇2014年CCS的论文，Using Extreme Learning Machine for Intrusion Detection in a Big Data Environment，并对其内容进行了总结和扩展。

基本知识

     极限学习机（extreme learning machine）ELM是一种简单易用、有效的单隐层前馈神经网络SLFNs学习算法。2004年由南洋理工大学黄广斌副教授提出。传统的神经网络学习算法（如BP算法）需要人为设置大量的网络训练参数，并且很容易产生局部最优解。极限学习机只需要设置网络的隐层节点个数，在算法执行过程中不需要调整网络的输入权值以及隐元的偏置，并且产生唯一的最优解，因此具有学习速度快且泛化性能好的优点，目标是解决回归、二分类以及多分类问题。ELM是有监督的机器学习算法，单隐层前馈神经网络（single hidden layer feed-forward neural networks），意味着SLFN只有一个隐藏层，整个SLFN包括输入层、隐藏层、输出层。输入权重是输入层和隐藏层之间的权重，偏置是隐藏层神经元的阈值，输出权重是隐藏层和输出层之间的权重。

   

     神经网络的训练过程实质上就是求解中间层即隐藏层的参数信息，比如隐藏层层数、节点数、权重等。对于SLFN单隐层前反馈神经网络，训练阶段需要确定输入权重矩阵、隐藏层偏置矩阵和输出权重矩阵三个元素，对于ELM，隐藏层的输入权重矩阵和隐藏神经元偏置矩阵是随机生成的，服从任意连续概率分布，所以只需要求解输出权重矩阵，而不需要重复迭代地调整输入权值和隐藏层偏置，因此计算量和时间复杂度都会小很多，训练速度也会快很多，这就是ELM优于其他传统神经网络和机器学习算法的关键所在。若在线上系统的实际应用中，也会因为训练时间短而有一定优势，有关增量学习的内容还没有看到。

ELM参数定义