论文整理:2018-基于深度学习的网络流量分类及异常检测方法研究_王伟
导师给了个服务器IP分类的项目,因为之前没做过这种,就找了一篇博士论文。
看论文顺序:中文博士论文—中文综述—英文博士论文—英文综述
网络流量异常:
- 性能原因:网络结构设计不合理,如拥塞控制不当,设备故障
- 安全原因:网络攻击,如DDos,蠕虫病毒
异常检测方法:
- 基于网络流量分类 (重要)
- 基于统计
- 基于聚类
- 基于信息论
一般的网络流量分类方法:
-
基于端口:简单易实现,但准确度较低。 端口共65535个,0-1024公用
-
不可靠原因:新应用不再有固定端口号,p2p常用随机端口;
很多应用采用端口伪装技术(故意使用公用端口)躲避防火墙或入侵检测系统
NAT的使用,端口地址转换
-
-
基于有效载荷/DPI(深度报文检测):无法处理加密流量,复杂度较高(字节匹配,难以实时)
- 检查包头和载荷在内的整个数据包内容
- 发现预定义的固定字符串或字符串模式(指纹)
- 常用正则表达式匹配
- 优势:准确率高,早期识别(只需要对网络流的前几个数据包进行检测)
- 劣势:指纹获取比较困难,无法检测未知流量
以上两种属于基于规则的方法,根据人工制定且硬编码的固定规则进行匹配分类
-
基于统计 :基于机器学习。
-
基本思想:不同种类的应用产生的流量特性不同
例如,web是短时间内大量流量,VoIP是长时间内少量流量的稳定传输
-
常见流量特征:
-
网络流特征:双方一次通信的所有数据包
网络流持续时间,总字节数,平均每个数据包的字节数
-
数据包特征:每个数据包的特征
通信方向,包间隔时间
常用预处理过程,提取特征数据
-
-
优势:计算复杂度较低,可以用于加密流量
-
缺点:需要专门的特征设计,分类准确度没有DPI高,特别是无监督学习,误警率较高
-
-
基于行为 :基于机器学习
- 基本思想:不同应用有不同的行为模式
- 使用特征:主机通信的行为信息
深度学习:基于表征学习(特征学习):对原始输入数据进行逐层学习,自动得到高层次的特征数据
流量分类类型
恶意/正常流量分类
加密/非加密流量分类
流量加密已成事实标准 TLS
深度学习
- CNN:卷积神经网络,空间特征学习。常用于CV,图片分类,图片语义分割,物体识别
- RNN:循环神经网络,时序特征学习。常用于语音识别和NLP,LSTM长时短记忆网络用于NLP的情感分析、机器翻译
网络流量分类常见数据单元
- 单向
- 双向
CNN:将流量视为流量字节组成的流量图像,学习空间特征
RNN:视为流量字节组成的单元序列,或多个网络数据包组成的单元序列,学习时序特征
2.1 网络流量分类
恶意流量分类
-
基于指纹
-
基于端口:可靠性不高
-
基于深层包:提取特定字符串模式作为流量指纹,建立指纹库,对新流量进行正则表达式匹配
在云端存储指纹库
-
-
基于异常
- 基于统计
- 基于行为
加密流量分类
-
基于载荷
基于端口和深层包,用模式匹配检查包头格式
-
基于特征
基于统计和行为 ,网络流特征和数据包特征
2.2 网络流量异常检测
异常分类:
- 点异常
- 上下文异常
- 集合异常
网络攻击:
- 拒绝服务攻击
- 探测
- 本地用户提权
- 远程用户非法使用
入侵检测
- 基于主机的:监视主机日志信息,如对文件系统、注册表的改动
- 基于网络的:分析网络流量
- 误用检测:基于已有指纹库进行匹配
- 异常检测:机器学习模型
基于分类的方法
- SVM
- 贝叶斯网络
- 神经网络
基于统计的方法
- 给出的数据服从某种概率分布,通过不一致性发现异常数据
- 方法:混合模型、信号处理、PCA
基于聚类的方法
聚类检测的三个假设:
- 只对正常数据进行聚类,与正常聚类结果差别较大的判为异常
- 正常数据离聚类的形心更近,异常数据离得远,可用距离度量
- 小的聚类和稀疏的聚类常被视作异常
- 常规聚类:k-Means
- 协同聚类:在列和行两个方向同时应用聚类算法(降维)
基于信息论的方法
- 熵、条件熵、相对熵、信息增益
2.3 深度学习
- 深度:更强大的复杂函数拟合能力
- SVM/逻辑回归LR、决策树等千层结构算法的局限性:样本有限的情况下表示复杂函数能力有限;泛化能力差
- 学习:
- 表征学习,直接从原始数据学习
- 分层学习
反向传播算法
卷积神经网络
- 语音识别,自然语言处理
- 卷积神经网络的改进
- 局部感受野(稀疏连接):下一层某个神经元只和上一层的的部分神经元连接。(一般的神经网络是全连接)
- 权值共享(参数共享):每个神经元与前一层的所有连接采用相同权重值
- 池化(下采样):对于获得的特征,将其分割成多个相邻小区域,并简化为一个单值。平均值池化、最大值池化
- 通过改进,减少了训练参数,位移不变性、尺度不变性、旋转不变性
- 时序数据:语音、文本: 一维CNN
- 时域频域数据:视音频:二维CNN
- 视频和立体图像:三维CNN
长时短记忆循环神经网络 LSTM
- 传统神经网络中,输出值只和当前输入值有关
- 序列数据的预测问题:下一个值由当前值和前面若干词共同决定
- RNN通过在隐层的神经元中添加自连接的权重值,使得每次训练可以记录前面训练时的输出值状态,实现了保存序列信息
- LSTM
- 输入门
- 遗忘门
- 输出门
三、基于表征学习的恶意流量分类方法
- 思想:将原始流量数据视为图片,用图片分类的CNN进行分类
- 流量分类—>图片分类
数据集::USTC-TFC2016
网络流量表示形式
基于机器学习的流量分类方法,需要按一定粒度把连续流量且分为多个离散单元。每个单元中的每个包,按照OSI或TCP/IP可划分为多个层。
-
流量粒度
网络流量切分方式:TCP连接、流、会话、服务、主机
流:有相同五元组(源IP、源端口、目的IP、目的端口、传输层协议)的所有包
会话:双向流组成的所有包,即上面的源和目的可以互换
- CNN要求数据输入大小一致:只选取流或会话的前n个字节
-
协议层次
流量特征主要体现在应用层。
流量清洗/匿名化:对流量数据的特有信息随机化处理
数据预处理:
-
流量切分 pcap 数据
-
流量清理:用随机生成的新地址替换MAC和IP地址(如果流量来自同一网络环境则不需要)。清除没有内容的数据包,重复数据只保留一个
-
图片生成:文件按照784字节统一长度处理,超过则截取,不足则补充0x00。转换为灰度图片
-
IDX转换:将图片转换成IDX格式,包含像素信息和统计信息,是CNN的输入文件标准格式
四、基于一维CNN的端到端(深度学习)加密流量分类方法
根据协议层不同,流量加密技术分为
- 应用层加密:bittorrent,skype
- 表示层加密:TLS
- 网络层加密:IPsec
主流的流量分类方法:
- 基于端口的:准确率偏低
- 基于DPI:无法解密内容
- 基于统计
- 基于行为
采用的数据集 :ISCX VPN-nonVPN ,7种常规加密和7种协议封装流量
- 思想:直接从流量原始数据自动学习流量特征,学到的高级特征直接在softmax层进行分类
- 流量—>类比成字符值,用文档分类技术处理
五、基于两阶段LSTM的流量分类
- 用LSTM学习数据包和网络流两个层次上的特征
- 思想:用NLP技术
步骤
- 预处理:流量切分
- 数据编码:ont-hot 独热数据形式,每个流量字节被编码为一个n维向量
- 数据包内时序特征学习
- 网络流内时序特征学习
- softmax分类器
- 测试与对比
六、基于层次化时空特征学习的流量异常检测
-
思想:使用CNN学习数据包内的空间特征(流量转化为图像),作为下层;使用RNN(LSTM)学习数据包之间的时序特征,作为上层;上层建立在下层基础上
-
数据集:DAPRA 1998和ISCX2012
七、展望
-
非平衡数据集问题
-
领域知识的应用
数据包的结构信息
-
基于半监督和无监督学习的异常检测
少量有标签和大量无标签数据