观成科技：基于深度学习技术的APT加密流量检测与分类检测方案

一、前言

近年来APT攻击的案例屡见不鲜，给国家、企业以及个人的利益造成极大威胁。随着流量加密技术的不断成熟，许多APT组织倾向于将流量加密后进行传输，从而保护传输内容。由于加密流量的实际载荷已被加密，故采用原始的流量检测方法，如深度包检测等方法，对于加密流量而言基本无效。业内尝试采用机器学习算法，通过专家经验手工提取特征的方法进行检测，但该方法存在耗时多、容易出现人为错误等问题，因此，转向深度学习技术，对流量自身进行表征学习，从而提取深度特征进行检测，具有比传统机器学习更优异的检测能力。首先，采用堆叠自编码器算法进行无监督学习，区分APT加密流量与正常流量。其次，对被检测出来的APT加密流量，采用卷积神经网络算法进行多分类任务，确定该流量属于何种APT组织。经过实验验证，该方案可以有效的检测APT加密流量，并且具有很强的APT组织分类能力。

二、问题描述

本方案主要解决两个问题：APT加密流量的识别和APT加密流量所属组织的分类。

1. APT加密流量的识别

业内普遍的解决方案是采用有监督学习方法，即收集一定数量的正常流量与APT流量，并打上不同的标签，然后采用有监督算法（例如逻辑回归、随机森林等）进行训练，生成模型用于检测。但是在实际应用中，会出现一个问题：由于收集到的APT黑流量数量有限，故而当采集的白流量数量远多于黑流量时，则会由于数据不平衡问题而使检测能力明显下降；若采集与黑流量数量相近的白流量，则可能因为白流量缺乏代表性则造成模型过拟合，进而产生大量误报。

面对这一问题，本方案采用无监督学习的方法进行检测，无监督学习是指无需预先定义目标变量，而是通过算法从无标签的数据中发现隐藏的结构和模式。这里采用无监督学习仅对掌握的APT加密流量进行训练，学习到APT加密流量的特有模式，然后用于流量检测，能够有效的利用现有APT流量，识别现网中的APT流量，同时规避白流量的选择问题。