异常流量检测

项目目标是为了检测网络异常流量，防止网络攻击行为，本人参与了初期的工作，进行了文献阅读-数据处理-模型构建-参数优化工作。

网络攻击行为主要分为Dos、U2R、Probe等，其对应的流量异常特征为集合异常、点异常、上下文异常。

点异常指指单个数据样本相对于周围数据被视为异常的情况；上下文异常指数据实例在特定上下文中异常，但在其他情况下不属于异常的情况；集合异常指相关数据实例的集合作为一个整体是异常的，即使单个值可能是正常的。由于攻击行为大多能体现在流量特征方面，因此项目首先从简单的单变量流量时间序列进行分析，以小步快跑、快速迭代方式进行。

流量时间序列主要通过统计每分钟IP数据包个数，根据流量特征的时序特点，利用了长短期记忆网络LSTM进行滑动时间窗预测，通过对比预测值与实际值的误差是否大于设定的阈值来判断是否属于异常流量。不采用分类方式的原因在于，大多数文献采用的分类方式都是运用在现成的数据集，而实际情况中的数据集都不存在标签，采用分类方式需要较多的成本；并且异常值检测属于样本不平衡类型的检测，分类模型可能需要较复杂的方法解决漏报情况。

预测模型首先对正常流量趋势进行拟合，当异常流量出现时能较好的做出反应，避免了样本不平衡与漏报的情况；但是由于流量波动的存在导致某些正常波动被识别为异常情况，阈值选取过大，可能会出现报警延迟或漏报；阈值选取过小，则可能会出现误报的情况。因此误报情况较多，该模型在初期实现了70%的准确率，上下文异常较难发现，点异常则最容易。

被判定为异常值的值与正常值的最大值差距不大时，可能只是正常抖动，并非异常值，为了进一步解决误报情况，需要对误差值进行处理，采用了误差排序的方式，通过对误差进行降序排序E，对比误差序列间的差值情况D

di=(ei-ei-1)/ei-1

当di大于某一预设值p时，则ei仍为异常值；若某个值之后所有d都小于预设值，则后续都为正常值。

该方法进一步避免了流量波动的情况，当流量波动时，误差虽然较大，但误差之间的差值并不大，而对于突发的流量异常情况，则差值较大，改进后的模型准确率提高了13%。