Machine Learning for Encrypted Malware Traffic Classification

最新推荐文章于 2024-06-05 09:50:50 发布
最新推荐文章于 2024-06-05 09:50:50 发布
阅读量1.7k 收藏 8
点赞数 4
分类专栏： machine-learning
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/liveway6/article/details/78442251
版权

Machine Learning for Encrypted Malware Traffic Classification: Accounting for Noisy Labels and Non-Stationarity–阅读笔记

论文来源：2017 KDD
论文链接

Abstract

加密恶意软件流量分类的机器学习：考虑噪声标签和非平稳性

不准确的基本事实和高度不固定的数据分布使得机器学习算法在恶意网络流量监测中结果不理想。

作者基于现实世界的制约，提供了具体的建议。

Introduction

除了被动监控要求之外，准确地识别单个基于会话级别上的恶意网络流量是必要的，因为它能保证网络设备（如路由器和交换机）有效地执行网络策略。

利用加密的网络传输的百分比正在迅速增加，恶意软件作者也利用这一趋势来逃避基于签名的检测。

由于隐私、法律和技术原因，使用中间人解密传输，然后使用传统技术来检测威胁并不理想。

考虑到上述约束条件，对加密网络会话的元数据进行机器学习是一个自然的解决方案。

网络数据中的不准确的基础事实和非稳定性使得机器学习难以达到满意的效果。

获取标记数据进行培训的最直接的方法是使用沙盒环境运行恶意软件，并收集样本的相关数据包捕获文件，以获得正面标记的恶意数据，并监视网络并收集所有负面标记的良性连接数据。

网络数据中的不准确的基础事实：

  • 对于良性的情况，即使在使用IP黑名单过滤数据集之后，通常会有一个不可忽视的网络流量百分比被认为是可疑的。
  • 对于恶意案件，恶意软件样本通常会执行连接性检查或其他固有的良性活动。

网络数据的非稳定性：

  • 在用户层面上，网站和服务的流行频繁变化。例如，将托管的云存储从box.com转换到google.com/drive/将对观察到的加密传输模式产生影响。
  • 在网络和协议级别，当TLS 1.3或HTTP / 2 等新协议发布时，可以引入更改点。这些修订可以显着影响握手和应用层消息的结构，影响用于分类的数据特征。

作者通过实验测试六种常见算法在面对网络安全领域中不准确的基础事实和不断发展的数据流时的表现。

作者还提供了用于此问题的标准特征集与在领域专家的帮助下开发的自定义特征集之间的比较。

一般来说，追求对数据的更深入的理解和对数据生成过程的反复证明是非常有价值的。

附加的数据特征可以减轻准确的地面真实标签方面的一些负担：恶意软件通常通过访问标准网站（例如https://www.google.com）来执行连接检查。标准的检测不可能从这种标准网站开始区分，但是，如果包含关于连接的附加功能（如TLS握手元数据：TLS提供有关始发客户端的信息）则可以区分这两种情况。

作者在算法和数据特征方面为从业者提供了具体的建议，以正确和健壮地对加密的恶意软件通信进行分类。

Background

TLS (运输层协议)是保护许多纯文本应用程序协议的主要协议，例如，HTTPS是TLS上的纯文本HTTP（应用层）协议。

一个简单的TLS会话的图形表示：
这里写图片描述

  1. 客户端最初发送一个ClientHello消息（未加密），该消息为服务器提供了一个密钥套件列表和客户端支持的一组TLS扩展：

    1. 密钥套件列表按照客户端的优先顺序排列，每个密码套件定义一组TLS运行所需的加密算法。
    2. TLS扩展扩展为服务器提供了附加信息，以便于扩展功能。

  2. ClientHello之后，服务器发送一个ServerHello消息，其中包含：

    1. 从客户机列表中选择的选定密码套件，该列表定义了将用于保护交换的应用程序数据的一组加密算法。
    2. 服务器支持的扩展列表，其中该列表是客户端支持的子集。此时，服务器还会发送一个包含服务器证书链的证书消息，该证书消息可用于对服务器进行身份验证。

  3. 客户端然后发送一个ClientKeyExchange消息，建立TLS会话的预主密钥。

  4. 客户端和服务器交换ChangeCipherSpec消息，指示将来的消息将使用协商的密码参数进行加密。
  5. 客户端和服务器开始交换应用程序数据。

Algorithms

Linear Regression

线性回归： 找到一个线性模型，使得系数向量w使数据样本和标签之间的残差平方和误差最小。

  • 优点：有利于训练/测试，并且通过权重向量与数据特征之间的相互作用可以容易地解释所产生的预测。
  • 缺点：依赖于数据特征的缩放，不能模拟非线性函数，并且即使在数据是线性可分的情况下，经常在分类设置中表现不佳。

Logistic Regression

逻辑回归返回一个适当的概率，可以解释为一个特征向量属于一个特定类别的概率。 我们使用了逻辑回归的两个不同版本： l

最低0.47元/天 解锁文章
liveway6
关注
  • 4
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Deep Learning for Encrypted Traffic Classification:An Overview.pdf
03-25
Deep Learning for Encrypted Traffic Classification:An Overview.pdf
Identifying Encrypted Malware Traffic with Contextual Flow Data.pdf
01-21
Identifying Encrypted Malware Traffic with Contextual Flow Data, ETA
Machine Learning for Encrypted Malware Traffic Classification Accounting for...阅读笔记
qq_40628208的博客
07-24 379
Machine Learning for Encrypted Malware Traffic Classification Accounting for Noisy Lables and Non-Stationary阅读笔记 文章目录Machine Learning for Encrypted Malware Traffic Classification Accounting for Noisy Lables and Non-Stationary阅读笔记前言一、简介二、数据集1、数据集采集环境2、训练样本三
Deep_Learning_for_Encrypted_Traffic_Classification_An_Overview.pdf
03-19
Deep_Learning_for_Encrypted_Traffic_Classification_An_Overview Shahbaz Rezaei
探秘恶意软件世界：利用`malware-traffic-analysis`提升你的安全研究能力
最新发布
gitblog_00021的博客
06-05 426
探秘恶意软件世界：利用malware-traffic-analysis提升你的安全研究能力 项目地址:https://gitcode.com/Cherishao/APT-Sample 在网络安全的最前沿，一场没有硝烟的战争正在悄然进行。【malware-traffic】项目，宛如一座灯塔，为安全研究人员和恶意软件分析师照亮了深邃且复杂的恶意代码海洋。**:sparkles:**本文将引领你深入了解...
Malware Traffic Classification Using Convolutional Neural Network for Representation Learning代码复现的问题
chunchenbeile的博客
05-02 1395
Malware Traffic Classification Using Convolutional Neural Network for Representation Learning代码复现有关问题
加密流量分类-论文1：Deep Learning for Encrypted Traffic Classification: An Overview
qq_45125356的博客
08-30 4043
这是篇关于加密流量分类的综述，加密流量分类的入门之作，流量分类应用范围广泛，从isp的QoS提供和计费，到防火墙和入侵检测系统的安全应用。从最简单基于端口的、数据包检测到经典的机器学习方法，到由于深度学习的兴起，神经网络成为加密流量分类的主流。本文介绍了常用的深度学习方法及其在流量分类任务中的应用。然后讨论了开放的问题和它们的挑战。关键词：流量分类、深度学习、机器学习1.1 基于端口（port）的流量分类优点：简单。...
加密流量分类-论文11 FlowPic: A Generic Representation for Encrypted Traffic Classification and Applications
qq_45125356的博客
11-18 2937
文章利用了流中与时间相关和与大小相关的特性，将基本流量数据转换为直观的图片FlowPic，然后使用已知的图像分类深度学习技术cnn来识别流量类别(浏览、聊天、视频等)和正在使用的应用程序。但是不是使用负载数据形成的特征图。对于每个流，我们的方法根据数据包大小和数据包到达时间创建一个图像，我们称之为FlowPic。不依赖于数据包有效负载内容，因此不会侵犯隐私存储需求非常小，近乎实时的分类可行数据集：ISCX VPN-nonVPN、ISCX Tor-nonTor、作者团队自己捕获的数据集（命名为TAU）
译文_Identifying-Encrypted-Malware-Traffic-with-Contex.docx
11-05
**识别加密恶意软件流量的关键知识点** 随着网络加密的普及，识别加密流量中的恶意软件成为网络安全领域的一大挑战。传统的基于深度包检测（Deep Packet Inspection, DPI）和签名匹配的方法在面对加密流量时失效，...
加密流量分类-论文2：Deep Packet: A Novel Approach For Encrypted Traffic Classification Using Deep Learning
qq_45125356的博客
09-02 4081
论文提出的方案称为“深度包”(deep packet)，可以处理网络流量分类为主要类别(如FTP和P2P)的流量表征，以及需要终端用户应用程序(如BitTorrent和Skype)识别的应用程序识别。与现有的大多数方法不同，深度报文不仅可以识别加密流量，还可以区分VPN网络流量和非VPN网络流量。网络架构基于CNN与SAE，能同时进行应用识别与流量类型的分类任务。
Vision-based bicycle/motorcycle classification
03-25
present a feature-based classifier that distinguishes bicycles from motorcycles in real-world traffic scenes.
Encrypted traffic 加密流量分类任务进展综述
菜小白的博客
02-09 5291
Deep Learning for Encrypted Traffic Classification:An Overview 常用流量解析方法主要有四种： 1.端口号解析 2.DPI技术 3.统计特征/时序特征 + 机器学习 4.时空特征 + 深度学习 5.其他特征 +深度学习（待拓展） 第一种端口号解析的方法，是最早应用于流量解析的方法，但由于部分应用会使用不常见的端口号以及端口伪装等问题，准确...
加密流量分类-论文6：Learning to Classify A Flow-Based Relation Network for Encrypted Traffic Classification
qq_45125356的博客
10-02 1375
网络数据的不平衡性模型对真实数据的泛化能力模型对数据大小的过度依赖。加密技术虽然保护了互联网用户的自由、隐私和匿名性，但也用户避开了防火墙的检测，绕过了监控系统。攻击者通过加密恶意软件流量来匿名入侵和攻击系统。犯罪分子使用隐私增强工具(例如Tor)穿透黑暗网络，在那里他们可以购买毒品、武器和伪造的文件(如护照、驾照、提供合同杀手的媒体)来吸引客户.
Machine Learning classification
CADsharp
08-28 268
Machine Learning classification
【综述类论文】Machine Learning for Encrypted Malicious Traffic Detection（重要）
一个努力生活的人的博客
11-16 2203
一篇有关加密流量检测的综述
ML(8)-PCA,LDA基础+sklearn 简单实践
sinat_40624829的博客
09-16 569
PCA,LDA基础+sklearn 简单实践1.PCA+sklearn.decomposition.PCA1.PCA理论基础2.sklearn.decomposition.PCA简单实践2.LDA+sklearn.discriminant_analysis.LinearDiscriminantAnalysis2.1 LDA理论基础2.2 sklearn LDA简单实践 1.PCA+sklearn.decomposition.PCA 1.PCA理论基础 PCA:（principal component an
加密流量分类-论文3：FS-Net: A Flow Sequence Network For Encrypted Traffic Classification
qq_45125356的博客
09-04 4887
FS-Net是一个端到端的分类模型，它从原始流中学习代表性特征，然后在一个统一的框架中对它们进行分类。采用多层编码器-解码器结构，可以深入挖掘流的潜在序列特征，并引入重构机制，提高特征的有效性。FS-Net是基于网络流量的应用分类，即应用识别。
【seq2seq+加密流量A】FS-Net: A Flow Sequence Network For Encrypted Traffic Classification
一个努力生活的人的博客
09-22 696
原文题目中文题目：FS-Net:一种用于加密流分类的流序列网络发表会议发表年份：2019作者：Chang Liulatex引用随着人们对用户隐私和通信安全的重视，加密流量急剧增加，这给传统的基于规则的流量分类方法带来了巨大的挑战。将机器学习算法与人工设计特征相结合已经成为解决这一问题的主流方法。然而，这些功能在很大程度上依赖于专业经验，这需要大量的人力。这些方法将加密流量分类问题划分为分段子问题，不能保证最优解。
Privacy-Preserving Machine Learning Using Federated Learning and Secure Aggregation
05-04
Privacy-preserving machine learning is becoming increasingly important in today's world where data privacy is a major concern. Federated learning and secure aggregation are two techniques that can be used to achieve privacy-preserving machine learning. Federated learning is a technique where the machine learning model is trained on data that is distributed across multiple devices or servers. In this technique, the model is sent to the devices or servers, and the devices or servers perform the training locally on their own data. The trained model updates are then sent back to a central server, where they are aggregated to create a new version of the model. The key advantage of federated learning is that the data remains on the devices or servers, which helps to protect the privacy of the data. Secure aggregation is a technique that can be used to protect the privacy of the model updates that are sent to the central server. In this technique, the updates are encrypted before they are sent to the central server. The central server then performs the aggregation operation on the encrypted updates, and the result is sent back to the devices or servers. The devices or servers can then decrypt the result to obtain the updated model. By combining federated learning and secure aggregation, it is possible to achieve privacy-preserving machine learning. This approach allows for the training of machine learning models on sensitive data while protecting the privacy of the data and the model updates.
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值