【RNN+加密流量A】ET-BERT: A Contextualized Datagram Representation with Pre-training Transformers for...

最新推荐文章于 2024-06-09 09:32:33 发布
最新推荐文章于 2024-06-09 09:32:33 发布
阅读量2.2k 收藏 16
点赞数 9
分类专栏： 文献阅读 文章标签： rnn bert 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Dajian1040556534/article/details/134111321
版权

文章目录

论文简介

原文题目：ET-BERT: A Contextualized Datagram Representation with Pre-training Transformers for Encrypted Traffic Classification
中文题目：ET-BERT：一种基于预训练转换器的数据报上下文化表示方法，用于加密流量分类
发表会议：WWW '22: The ACM Web Conference 2022
发表年份：2022-4-25
作者：Xinjie Lin
latex引用：

@inproceedings{lin2022bert,
  title={Et-bert: A contextualized datagram representation with pre-training transformers for encrypted traffic classification},
  author={Lin, Xinjie and Xiong, Gang and Gou, Gaopeng and Li, Zhen and Shi, Junzheng and Yu, Jing},
  booktitle={Proceedings of the ACM Web Conference 2022},
  pages={633--642},
  year={2022}
}

摘要

加密流分类需要从内容不可见和不平衡的流量数据中获取判别性和鲁棒性的流量表示，以实现准确的分类，这是实现网络安全和网络管理的一项挑战，但也是必不可少的。现有解决方案的主要局限是高度依赖深度特征，而深度特征过度依赖于数据大小，难以在未见数据上进行泛化。如何利用开放域未标记的流量数据学习具有较强泛化能力的表示仍然是一个关键的挑战。

在本文中，我们提出了一种新的流量表示模型，称为来自变压器的加密流量双向编码器表示(ET-BERT)，它从大规模未标记数据中预训练深度上下文化数据报级表示。预训练模型可以在少量特定任务的标记数据上进行微调，并在五个加密流量分类任务中实现最先进的性能，显着将ISCX-VPN-Service的F1提高到98.9%(5.2%↑)，跨平台(Android)提高到92.5%(5.4%↑)，CSTNET-TLS的F1提高到1.3到97.4%(10.0%↑)。值得注意的是，我们通过分析密码的随机性提供了经验强大的预训练模型的解释。它为我们理解加密流量分类能力的边界提供了新的思路。

代码可从https://github.com/linwhitehat/ET-BERT获得。

存在的问题

  • 基于明文特征的指纹匹配[37]：不适用于新出现的加密技术(例如TLS 1.3)，因为明文变得更加稀疏或混淆。
  • 基于统计特征的机器学习[27,36]：高度依赖专家设计的特征，泛化能力有限。
  • 基于原始流量特征的ML[21,22]：高度依赖于标记训练数据的数量和分布，容易造成模型偏差，难以适应新出现的加密。

论文贡献

  1. 提出了一种加密流量分类的预训练框架，该框架利用大规模未标记的加密流量来学习一系列加密流量分类任务的通用数据报表示
  2. 提出了两个流量特定的自监督预训练任务，如掩码BURST模型和同源BURST预测，它们捕获字节级和BURST级上下文关系，以获得通用的数据报表示
  3. ET-BERT泛化能力强，在通用加密应用分类、加密恶意软件分类、VPN上的加密流量分类、Tor上的加密应用分类、TLS 1.3上的加密应用分类等5个加密流量分类任务上实现了新的最先进的性能，显著优于现有作品5.4%、0.2%、5.2%、4.4%、10.0%。
  4. 同时，对预训练模型的强大性能进行了理论解释和分析。

论文解决上述问题的方法：

基于预训练的方法采用大量未标记数据来学习无偏数据表示。通过对有限数量的标记数据进行微调，可以轻松地将此类数据表示转移到下游任务。

  • 泛化能力增强
  • 不依赖专家知识
  • 能够识别新出现（训练数据中不存在）的加密流量
  • 不需要标记数据

论文的任务：

使用bert进行加密流量多分类，预训练模型没变，下游任务选的是单句预测

1. ET-BERT

在这里插入图片描述

  • Datagram2Token

    1. BURST生成器在一个会话流中提取持续的服务器到客户端或客户端到服务器的数据包，称为BURST[28,33]，以表示会话的部分完整信息。

      BURST：一组时间相邻的网络数据包，这些数据包来自单个会话流中的请求或响应。
      在这里插入图片描述
      其中𝑚和𝑛分别表示源到目的和目的到源的最大单向包数。

      简单来理解：一个BURST代表了一个根据正反向流被切割好的会话中的一个流。如图所示，假设深蓝色为正向流，那么浅蓝色就是反向流。
      在这里插入图片描述

    2. 然后BURST2Token过程通过bi-gram模型将每个BURST中的数据报转换为token embedding。同时，这个过程也将BURST分成两个部分，为预训练任务做准备。

      1. 将BRUST中的流用16进制编码序列表示
      2. 使用bi-gram来编码16进制序列，即每个单元由两个相邻的字节单元组成。这样一来，每个单元的取值范围在0~65535，因此字典大小 ∣ V ∣ = 65536 |V|=65536 ∣V∣=65536
      3. 将编码后的16进制序列平均分为两个子序列： s u b − B R U S T A sub-BRUST^A sub−BRUSTA、 s u b − B R U S T B sub-BRUST^B sub−BRUSTB
      4. 添加特殊token：[CLS]、[SEP]、[PAD]、[MASK]
        在这里插入图片描述

    3. 最后，Token2Emebdding将每个标记的标记嵌入、位置嵌入和分割嵌入连接起来，作为预训练的输入表示。

      我们通过三种嵌入来表示BURST2Token中得到的每个token：token embedding、position embedding和segment embedding。
      在这里插入图片描述

  • Pre-training

    • Masked BURST Model：这个任务类似于BERT b[6]使用的掩码语言模型。ET-BERT被训练来根据上下文预测屏蔽位置的token。损失函数如下：在这里插入图片描述

    • Same-origin BURST Prediction：对于该任务，使用二元分类器来预测两个子BURST是否来自相同的BURST。具体来说：

      • 50%的概率 s u b − B U R S T B sub-BURST^B sub−BURSTB是实际 s u b − B U R S T A sub-BURST^A sub−BURSTA后半部分（来自同一个BURST）
      • 50%的概率是一个随机 s u b − B U R S T sub-BURST sub−BURST。

      损失函数如下：
      在这里插入图片描述
      其中 B j = ( s u b − B j A , s u b − B j B ) ， y j ∈ [ 0 , 1 ] B_j = (sub-B_j^A,sub-B_j^B)，y_j \in [0,1] Bj​=(sub−BjA​,sub−BjB​)，yj​∈[0,1]

  • Fine-tuning
    由于微调和预训练的结构基本相同，我们将特定于任务的数据包或流表示输入到预训练的ET-BERT中，并在端到端模型中微调所有参数。在输出层，将[CLS]表示提供给多类分类器进行预测。我们提出了两种微调策略来适应不同场景的分类：

    • 将数据包级别作为输入，专门试验ET-BERT是否能适应更细粒度的流量数据，称为ET-BERT(packet)
    • flow level作为输入，致力于公平客观地比较ET-BERT与其他方法，称为ET-BERT(flow)。

    这两种微调模型的主要区别在于输入流量的信息量。我们使用流中𝑀连续数据包的拼接数据报作为输入数据，其中𝑀在我们的方法中被设置为5。第4.1节详细描述了流量数据的处理。

2. 实验

  • 数据集

    在这里插入图片描述

    • 任务1：通用加密应用分类(GEAC)：根据标准加密协议对应用流量进行分类。
    • 任务2：加密恶意软件分类(EMC)：由恶意软件和良性应用[41]组成的加密流量集合。
    • 任务3：VPN加密流量分类(ETCV)：对使用VPN进行网络通信的加密流量进行分类。
    • 任务4：基于Tor的加密应用分类(EACT)：旨在对使用Tor路由器(Tor)的加密流量进行分类，以增强通信隐私。
    • 任务5：基于TLS 1.3的加密应用分类(EAC1.3)：旨在对基于新加密协议TLS 1.3的加密流量进行分类。该数据集是我们从2021年3月到7月在CSTNET下收集的120个应用程序，命名为CSTNET- tls 1.3。正如我们所知，这是迄今为止第一个TLS 1.3数据集。应用程序是从部署了TLS 1.3的Alexa Top-5000[3]获得的，我们通过服务器名称指示(SNI)标记每个会话流。在CSTNET-TLS 1.3中，由于TLS
      1.3的兼容性，SNI仍然可以访问。ECH机制将在将来禁用SNI并损害标记的准确性，但我们将在第5节中讨论一些克服它的想法。

  • 数据预处理

    1. 删除了地址解析协议(ARP)和动态主机配置协议(DHCP)的数据包，它们与传输内容的特定流量无关。
    2. 为了避免包头的影响，包头可能会在具有强识别信息(如IP和端口[19,25,40])的有限集合中引入偏干扰，我们删除了TCP头中的以太网头、IP头和协议端口。
    3. 在微调阶段，我们在所有数据集中随机从每个类中选择最多500个流和5000个数据包。
    4. 每个数据集按照8:1:1的比例分为训练集、验证集和测试集

  • 参数：

    包级别：

    • batch_size = 32
    • learning_rate = 0.00002
    • ratio of warmup = 0.1
    • epoch = 10

    流级别：

    • batch_size = 32
    • learning_rate = 0.00006
    • dropout = 0.5

  • 效果

    在这里插入图片描述

  • 消融实验

    在这里插入图片描述

总结

论文内容

  1. 学到的方法

    理论上的方法：使用bert进行加密流量分类

  2. 论文优缺点

    优点：

    1. 为bert在网络安全方面的应用提供了思路

    缺点：

    1. 对bert的改动不足，基本上就是照搬，没有太多的创新

  3. 创新想法

    看能不能在下游任务上或者数据粒度（这里用的BURST）上有所修改

数据集

  • 预训练使用的数据集：公共数据集：[9,32]
    • cicids2018
  • 微调使用的数据集：公共数据集：[37,41,9,10]
    • Cross-Platform(IOS)、Cross-Platform(Android)
    • USTC-TFC
    • ISCX-VPN-Service、ISCX-VPN-App
    • ISCX-Tor
  • 中国科技网(CSTNET)下被动采集流量

可读的引用文献

加密流量检测：

  • FlowPrint: Semi-Supervised Mobile-App Fingerprinting on Encrypted Network Traffic
  • Robust Smartphone App Identification via Encrypted Network Traffic Analysis
  • Deep Fingerprinting: Undermining Website Fingerprinting Defenses with Deep Learning
  • TSCRNN: A novel classification scheme of encrypted traffic based on flow spatiotemporal features for efficient management of IIoT
  • Deep packet: a novel approach for encrypted traffic classification using deep learning
  • Exploiting Diversity in Android TLS Implementations for Mobile App Traffic Classification

预训练模型：

  • RoBERTa：RoBERTa: A Robustly Optimized BERT Pretraining Approach
  • ALBERT：ALBERT: A Lite BERT for Self-supervised Learning of Language Representations
  • ERNIE：ERNIE: Enhanced Language Representation with Informative Entities
  • DistilBERT：DistilBERT, a distilled version of BERT: smaller, faster, cheaper and lighter

参考连接

  • 代码：https://github.com/linwhitehat/ET-BERT
过动猿
关注
  • 9
    点赞
  • 踩
  • 16
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
polyrnn-pp-pytorch：用于Polygon-RNN ++的PyTorch培训工具代码（CVPR 2018）
02-04
《Polygon-RNN++ PyTorch实现详解：深度学习在实例分割中的应用》 Polygon-RNN++是计算机视觉领域中一种先进的实例分割算法，它在CVPR 2018会议上被提出，主要用于图像中特定对象的精确边界框标注。本文将深入探讨...
CNN+RNN.zip_CNN RNN_CNN-_CNN-RNN_rnn 识别_rnn训练时间
07-15
标题中的"CNN+RNN.zip"表明这是一个关于卷积神经网络（CNN）和循环神经网络（RNN）结合的应用项目，而"CNN RNN_CNN-_CNN-RNN"可能是项目中涉及的不同模型结构的表示，可能包括纯CNN、纯RNN以及结合两者的方式。"rnn_...
ET-BERT
weixin_47532216的博客
02-18 1379
ET-BERT is a method for learning datagram contextual relationships from encrypted traffic, which could be directly applied to different encrypted traffic scenarios and accurately identify classes of traffic. First, ET-BERT employs multi-layer attention in
BERT_论文解析
weixin_44072988的博客
10-27 1052
BERT论文详解，李沐课程解读
探秘ET-BERT：网络加密流量分类的利器
最新发布
gitblog_00006的博客
06-09 516
探秘ET-BERT：网络加密流量分类的利器 项目地址:https://gitcode.com/linwhitehat/ET-BERT 在网络世界中，数据安全与隐私保护至关重要，加密流量分析成为了一个日益重要的研究领域。为此，我们引荐一个创新项目——ET-BERT，这是一个基于预训练Transformer模型的加密流量分类方法，它能准确识别不同场景下的流量类型，同时保护数据的隐私性。 1. 项目介绍...
加密流量分类-论文10：Global-Aware Prototypical Network for Few-Shot Encrypted Traffic Classification
qq_45125356的博客
11-11 1202
现在大部分对于小样本学习的方法都是基于度量(metric learning)解决，但是这些方法只考虑到了流量的局部信息，故对最终的分类性能有一定影响本文提出的GP-Net，考虑负载序列的两个字节之间的关系，利用字节之中的关系聚合流量输入的全局信息少样本学习是元学习的在监督学习领域的应用，可以参考[link](Few-shot learning（少样本学习）入门 - 知乎 (zhihu.com))过去使用一维卷积神经网络作为编码器解码器提取流量特征的方法，如[RBRN](
Bert：论文阅读-BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
czp_374的博客
01-31 2282
摘要：我们引入了一种名为BERT的语言表示模型，它代表Transformers的双向编码器表示（Bidirectional Encoder Representations）。与最近（recent）的语言表示模型（Peters et al.，2018; Radford et al.，2018）不同，BERT旨在（is designed to）通过联合调节（jointly conditioning）所...
【科研】ET-BERT代码分析
qq_41581765的博客
01-31 3156
论文使用的TLS1.3数据集是从 2021 年 3 月到 2021 年 7 月在中国科技网 (CSTNET) 上收集的。【困惑点1】执行代码里使用的encryptd_vocab.txt不造从哪里生成的，，待我看看代码。：由于可能存在原始PCAP数据的复杂性，建议在报错时执行以下步骤检查代码执行情况。用于微调的数据集，分为train、test、valid。微调数据集的链接—>如果要使用自己的数据集的话，需要检查数据格式是否与。数据集微调阶段的核心思想是先对数据集中。的数据进行文件夹区分，然后对数据进行。
【科研】ET-BERT资料库梳理
qq_41581765的博客
01-30 1227
包含fine-tuning数据集（cstnet-tls 1.3）与公开数据集（USTC-TFC、VPN-app、VPN-service的数据包级和流级）
详细介绍BERT模型
zag666的博客
11-16 1万+
BERT通过在所有层中联合调节左右语境，从未标记的文本中预训练深度双向表征。因此，预训练的BERT模型可以通过一个额外的输出层进行微调，以创建最先进的模型，用于更广泛的任务，而无需对特定任务的架构进行大量修改。
Attention Is All You Need论文阅读
雨夜闭门的博客
03-31 155
本文为梳理Transformer结构的发展，以及存在的问题，通过网络上一些大佬的讲解和论文原文阅读。
rt-polarity.pos.zip_CNN训练数据集_RNN_RNN分类_rnn 分类_rt-polarity.pos
07-14
《基于RNN与CNN的情感分析：rt-polarity.pos训练数据集详解》 在现代自然语言处理（NLP）领域，情感分析是一项至关重要的任务，它旨在理解和判断文本中蕴含的情感色彩，如正面、负面或中性。rt-polarity.pos.zip...
基于CNN+RNN+GCN+BERT的中文文本分类Python实现源码（高分课设）.zip
11-16
基于CNN+RNN+GCN+BERT的中文文本分类Python实现源码（高分课设）.zip 这是95分以上高分必过课程设计项目，下载即用无需修改，确保可以运行。也可作为期末大作业。 基于CNN+RNN+GCN+BERT的中文文本分类Python实现...
基于CNN+RNN+GCN+BERT的中文文本分类Python实现源码.zip
04-23
这是一个关于中文文本分类的深度学习项目，采用了一种综合模型，结合了卷积神经网络（CNN）、循环神经网络（RNN）、图卷积网络（GCN）和预训练的BERT模型。这个项目适用于高分课程设计或期末大作业，提供了一个完整...
读书笔记TrafficGPT：Breaking the Token Barrier for Efficient Long Traffic Analysis and Gen
nofish_的博客
03-21 1062
面临标记数据依赖，以及生成遵循真实模式的流量样本问题。预训练的深度神经网络已成为解决这些问题的强大工具，通过从大型未标记数据集中学习稳健的数据表示来提供更好的性能。但现有的预训练模型面临着令牌长度限制等挑战，这限制了它们在综合流量分析和现实流量生成方面的有用性。 TrafficGPT深度学习模型，使用线性注意机制的生成预训练，使令牌容量从 512 提高至 12032。在生成任务中，与真实流量相似，JS 散度低，F1 分数接近 0.5（代表随机猜测）。
论文笔记--Deep contextualized word representations
weixin_38124427的博客
05-31 683
ELMo：双向语言模型助力NLP监督任务
图解BERT模型：从零开始构建BERT
热门推荐
m0_37477175的博客
06-05 1万+
转载：https://cloud.tencent.com/developer/article/1389555 本文首先介绍BERT模型要做什么，即：模型的输入、输出分别是什么，以及模型的预训练任务是什么；然后，分析模型的内部结构，图解如何将模型的输入一步步地转化为模型输出；最后，我们在多个中/英文、不同规模的数据集上比较了BERT模型与现有方法的文本分类效果。 1. 模型的输入/输出 BERT模型的全称是：BidirectionalEncoder Representations from Transfo.
1. ARIMA 2. SARIMA 3. VAR 4. Auto-ARIMA 5. Auto-SARIMA 6. LSTM 7. GRU 8. RNN 9. CNN 10. MLP 11. DNN 12. MLP-LSTM 13. MLP-GRU 14. MLP-RNN 15. MLP-CNN 16. LSTM-ARIMA 17. LSTM-MLP 18. LSTM-CNN 19. GRU-ARIMA 20. GRU-MLP 21. GRU-CNN 22. RNN-ARIMA 23. RNN-MLP 24. RNN-CNN 25. CNN-ARIMA 26. CNN-MLP 27. CNN-LSTM 28. CNN-GRU 29. ARIMA-SVM 30. SARIMA-SVM 31. VAR-SVM 32. Auto-ARIMA-SVM 33. Auto-SARIMA-SVM 34. LSTM-SVM 35. GRU-SVM 36. RNN-SVM 37. CNN-SVM 38. MLP-SVM 39. LSTM-ARIMA-SVM 40. LSTM-MLP-SVM 41. LSTM-CNN-SVM 42. GRU-ARIMA-SVM 43. GRU-MLP-SVM 44. GRU-CNN-SVM 45. RNN-ARIMA-SVM 46. RNN-MLP-SVM 47. RNN-CNN-SVM 48. CNN-ARIMA-SVM 49. CNN-MLP-SVM 50. CNN-LSTM-SVM 51. CNN-GRU-SVM 52. ARIMA-RF 53. SARIMA-RF 54. VAR-RF 55. Auto-ARIMA-RF 56. Auto-SARIMA-RF 57. LSTM-RF 58. GRU-RF 59. RNN-RF 60. CNN-RF 61. MLP-RF 62. LSTM-ARIMA-RF 63. LSTM-MLP-RF 64. LSTM-CNN-RF 65. GRU-ARIMA-RF 66. GRU-MLP-RF 67. GRU-CNN-RF 68. RNN-ARIMA-RF 69. RNN-MLP-RF 70. RNN-CNN-RF 71. CNN-ARIMA-RF 72. CNN-MLP-RF 73. CNN-LSTM-RF 74. CNN-GRU-RF 75. ARIMA-XGBoost 76. SARIMA-XGBoost 77. VAR-XGBoost 78. Auto-ARIMA-XGBoost 79. Auto-SARIMA-XGBoost 80. LSTM-XGBoost 81. GRU-XGBoost 82. RNN-XGBoost 83. CNN-XGBoost 84. MLP-XGBoost 85. LSTM-ARIMA-XGBoost 86. LSTM-MLP-XGBoost 87. LSTM-CNN-XGBoost 88. GRU-ARIMA-XGBoost 89. GRU-MLP-XGBoost 90. GRU-CNN-XGBoost 91. RNN-ARIMA-XGBoost 92. RNN-MLP-XGBoost 93. RNN-CNN-XGBoost 94. CNN-ARIMA-XGBoost 95. CNN-MLP-XGBoost 96. CNN-LSTM-XGBoost 97. CNN-GRU-XGBoost 98. ARIMA-ANN 99. SARIMA-ANN 100. VAR-ANN 上面这些缩写模型的全称及相关用途功能详细解释
07-15
以下是对缩写模型的全称及相关用途功能的详细解释： 1. ARIMA (AutoRegressive Integrated Moving Average): 适用于平稳时间序列数据的预测，结合了自回归 (AR) 和移动平均 (MA) 的模型。 2. SARIMA (Seasonal ARIMA): 在ARIMA模型基础上添加了对季节性因素的建模，适用于带有季节性的时间序列数据的预测。 3. VAR (Vector Autoregression): 用于多变量时间序列数据的预测，基于自回归模型，能够捕捉变量之间的相互依赖关系。 4. Auto-ARIMA: 自动选择ARIMA模型的参数，通过对多个模型进行评估和选择来实现自动化。 5. Auto-SARIMA: 自动选择SARIMA模型的参数，通过对多个模型进行评估和选择来实现自动化。 6. LSTM (Long Short-Term Memory): 长短期记忆网络，一种适用于处理长期依赖关系的循环神经网络，用于时间序列数据的建模和预测。 7. GRU (Gated Recurrent Unit): 一种类似于LSTM的循环神经网络，具有更简化的结构，适用于时间序列数据的建模和预测。 8. RNN (Recurrent Neural Network): 适用于处理序列数据的神经网络模型，能够捕捉时间序列的动态特性。 9. CNN (Convolutional Neural Network): 卷积神经网络，主要用于图像处理，但也可以用于时间序列数据的预测，特别擅长局部模式的识别。 10. MLP (Multi-Layer Perceptron): 多层感知机，一种前馈神经网络模型，适用于处理非线性关系的时间序列数据。 11. DNN (Deep Neural Network): 深度神经网络，具有多个隐藏层的神经网络模型，能够学习更复杂的特征表示。 12. MLP-LSTM: 结合了多层感知机和长短期记忆网络的模型，用于时间序列数据的建模和预测。 13. MLP-GRU: 结合了多层感知机和门控循环单元网络的模型，用于时间序列数据的建模和预测。 14. MLP-RNN: 结合了多层感知机和循环神经网络的模型，用于时间序列数据的建模和预测。 15. MLP-CNN: 结合了多层感知机和卷积神经网络的模型，用于时间序列数据的建模和预测。 这些模型可以根据具体问题和数据的特性来选择和使用，以获得最佳的时间序列预测性能。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值