《机器学习与安全》读书笔记

最新推荐文章于 2024-07-30 23:09:05 发布
最新推荐文章于 2024-07-30 23:09:05 发布
阅读量816 收藏 1
点赞数 1
分类专栏： 读书笔记 文章标签： 安全 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sc0fie1d/article/details/104150511
版权

文章目录


我看的是《Machine Learning and Security》的翻译版，原书应该是安全数据科学领域一本比较不错的而且较为基础的书，奈何翻译的太差而且本人水平有限，对书中的许多内容了解的不多，而且书中的代码部分并没有自己亲自实现，只是选取了安全领域的异常检测、恶意软件分析和网络流量分析三个部分做了笔记。希望在学习一段时间之后，能够对之前不了解的内容有所掌握，并且实现一下书中的实战部分。另外如果再读此书的话，一定要读英文版。

1 异常检测

（1）AI for security分为两类：模式识别和异常检测

  • 模式识别：发现数据中的特性，将其提炼成特征集
  • 异常检测：建立一个描述正常状态的特征，所有偏离该状态的情况都被视为异常

（2）shell命令可以形成一个时间序列，因此可以从时间序列分析的角度进行异常检测

（3）主机入侵检测

  • 工具框架：osquery（收集低层级OS Metics，可以使用基于SQL的接口进行查询）、Linux auditd
  • 可以利用第三方工具将上述两种工具集成到自动化业务流程框架中，如：Chef、Puppet、 Ansible、SaltStack、Kolide、doorman
  • Indicator Of Compromise

（4）网络入侵检测

  • 流量分析工具：tcpdump、Bro、Snort
  • 检测单位是流量
  • 提取网络流量元数据
    • 基于状态数据包检测（stateful packet inspection，SPI）
    • 工作在3、4层
    • 检查数据包的头尾而不触及数据包上下文
    • 保持先前收到的数据包的状态、从而能够将新接收到的数据包与先前的相关联
  • 检查网络流量内容
    • 深度包检测（Deep packet inspection、DPI）
    • 工作在应用层
    • Bro（可以检测HTTP请求POST的字符串，从而可以检测SQL注入和XSS）
    • 如果要在使用了TLS/SSL加密的环境中进行检测，只能在监测点取消加密

（5）Web应用程序入侵检测

  • 标准Web服务器以NCSA通用日志格式来生成日志

（6）异常检测方法——预测（监督学习）

  • 适用于一维实值度量序列
  • 思想：将预测与观测之间的偏差视为异常
  • ARIMA (autoregressive integrated moving average，自回归积分移动平均模型)，通过使用正常的数据集，由序列与以前时间点自身之间的相关性（autocorrelation，自相关），来预测接下来的时间段内的状态。在预测相对准确的情况下（预测结果与实际观测到的非异常状态拟合度较高），如果观测值与预测结果之间的差值超过了某个threshold，则认为发生了异常。
  • 人工神经网络（Particularly，长短期记忆网络（long short-term memory，LSTM））
  • 注意：预测适合novelty detection（训练集中不包含异常数据），而不适合outlier detection（离群点检测，训练集中包含异常数据）。即适合训练集中没有异常数据，如果训练集包含异常数据的话，容易造成在训练过程中对预测数据的过拟合，从而使观测到的异常状态与预测值之间的差值变小，异常检测效果下降。

（7）统计度量

  • 绝对中位差（median absolute deviation，MAD）：去查找一群数据中的离群值，表示为数列中位数的绝对偏差的中位数
    import numpy as np
import numpy as np
# Input data series
x = [1, 2, 3, 4, 5, 6]
# Calculate median absolute deviation
mad = np.median(np.abs(x - np.median(x)))
# MAD of x is 1.5
  • Grubbs的离群值检测
  • Goodness-of-fit——椭圆包络拟合（Elliptic envelope itting (covariance estimate itting)）

（8）异常检测方法——无监督学习

  • 单类支持向量机
  • 孤立森林
    • 随机森林非常适合高维数据的异常检测，适合时间序列数据的实时异常检测
    • 思想：异常数据和正常数据相比，可以用较少的次数将其与正常数据分隔开
  • K均值

（9）异常检测方法——基于密度的方法

  • KNN
  • 局部离群因子（Local outlier factor，LOF）

（10）入侵检测面临的问题

  • 错误代价高
  • 语义鸿沟
  • 可解释性

2 恶意软件分析

（1）恶意软件类别划分依据：family

（2）可以用静态签名匹配来判断是否是恶意软件

（3）使用机器学习进行恶意软件分类的优势

  • 模糊匹配：给出了两个实体之间的相似程度，而不是简单的yes or no
  • 自动特征加权和选择
  • 适应性：适应不断变化的输入，跟踪恶意软件的进化

（4）使用机器学习进行恶意软件分类的挑战：特征工程

（5）二进制可执行文件的特征生成：

  • 静态方法：
    • 结构分析：查看程序的文件构成
    • 静态分析：查看程序的代码
  • 动态分析：运行程序分析（沙箱）
    • 调试
    • 动态插桩：通过挂钩正在运行的进程，并将自定义逻辑注入到应用程序中，从而修改应用程序或环境的运行时行为
      可用做特征的指标：

（6）程序请求权限

  • 系统调用
  • 操作码n-gram（一个包含其它特征的序列）
  • 网络行为
  • logcat

（7）特征选择：

  • 单变量分析：迭代地对每个单独特征进行分析，在只考虑该特征的情况下，模型执行会有多好；从而可以得到对特征好坏的评估
  • 递归特征消除：从完整的特征集开始，分析特征的排除对模型情况的影响
  • 潜在特征值表示：奇异值分解（SVD）、主成分分析（PCA）
  • 特定模型中通过特征权重减小或消除某些特征对模型的影响

3 网络流量分析

（1）无监督特征学习：指的是从原始数据自动生成特征，不同于无监督学习

（2）TSL/SSL数据包可以被解密

（3）攻击分为被动攻击和主动攻击

  • 被动攻击：不会启动与网络中节点的通信，也不会与网络数据交互或修- 改网络数据；而是进行信息收集和侦察活动。
  • 主动攻击
    • 漏洞：用过远程服务器发送的命令，可以使用基于机器学习模糊匹配来检测
    • 欺骗：DNS欺骗、ARP欺骗
    • 横向移动
    • 拒绝服务

（4）C&C服务器控制僵尸网络，C&C服务器的体系结构如下：

  • 星形/集中式网络
  • 多重网络：解决了a中的单点故障、可以缓和物理距离带来的问题
  • 分层网络：为了解决指令必须集中发布的问题
  • 随机P2P网络：僵尸网络管理员可以向僵尸网络中的任何一个节点发布指令，然后指令在网络中以多点传送的方式进行传播

（4）使用NSLKDD数据金构建网络攻击分类预测模型

  • 数据由TCPDump产生有标记的数据集，包含38种攻击类型，只有24种在训练集中出现，攻击属于下面四大类：
    • dos：拒绝服务
    • r2l：来自远程服务器的未授权的访问
    • u2r：提权尝试
    • probe：探测性暴力破解攻击
  • 我们的任务是设计一个通用的分类器，将数据分为五类：4类攻击+良性
  • 类不平衡问题：训练集中属于r2l和u2l的数据占比非常少，因此在测试集中对这两类数据的分类效果极差，由于训练集中benign数据占比最大，因此这两类数据大部分都被预测为benign数据。
  • 处理类不平衡的方法：
    • 欠采样：在占比较大的数据中进行采样，选取一部分进行使用，而不是用全部的数据集
    • 过采样：为占比较少的数据类智能合成数据点
    • 流行的做法是先过采样，再欠采样
Alst0n
关注
专栏目录
[网络安全自学篇] 二十三.基于机器学习的恶意请求识别及安全领域中的机器学习
杨秀璋的专栏
11-01 1万+
这是作者的系列网络安全自学教程，主要是关于网安工具和实践操作的在线笔记，特分享出来与博友共勉，希望您们喜欢，一起进步。前文分享了Web渗透的第一步工作，涉及网站信息、域名信息、端口信息、敏感信息及指纹信息收集。这篇文章换个口味，将分享机器学习在安全领域的应用，并复现一个基于机器学习（逻辑回归）的恶意请求识别。
机器学习的安全及隐私保护研究
YSL_Lsy_的博客
10-22 2492
云计算：为机器学习数据存储、计算的平台。大数据：为机器学习提供了数据管理、支撑的平台。物联网：为机器学习提供了丰富的数据来源。以机器学习为代表的人工智能技术正在发挥越来越大的优势，影响和改变着人类的生活。但是机器学习背后又面临隐私泄露的问题。
探索NSL-KDD数据集：入侵检测的起点
最新发布
mh007的博客
07-30 1515
NSL-KDD数据集是KDD Cup 1999数据集的改进版本。KDD Cup 1999数据集因其冗余和不平衡问题而广受批评。NSL-KDD数据集通过删除冗余记录和重新平衡样本，解决了这些问题，使其成为机器学习研究中的标准数据集之一。NSL-KDD数据集包含41个特征和一个标签，特征包括基本特征、内容特征和基于流量的特征。标签用于标识连接是正常（normal）还是攻击（attack）。攻击类型分为四类：DOS（拒绝服务攻击）、R2L（远程到本地攻击）、U2R（用户到根攻击）和Probe（探测攻击）。
机器学习在网络安全领域的深度探索与实践
weixin_52421133的博客
02-09 1758
目标是学习一个函数，该函数能根据新的输入预测相应的输出。随着技术的不断成熟和应用场景的拓宽，我们有理由相信，在未来的网络安全保卫战中，机器学习将会发挥越来越重要的作用，成为捍卫数字世界和平与秩序的强有力支撑。同时，随着量子计算、物联网等新兴技术的发展，机器学习还将面临新的挑战和机遇，不断拓展其在网络安全领域的应用边界。总之，面对将机器学习应用于网络安全领域的各项挑战，采取合理的数据管理策略、选择适应实时场景的算法、关注模型解释性，并积极防御对抗性攻击，可以有效提升机器学习在网络安全应用中的效果和安全性。
网络安全和机器学习
网络安全研究
05-13 5179
1. 机器学习在网络安全领域的挑战 近年来，机器学习几乎成了每个互联网或传统IT公司的话题。然而在网络异常检测领域，机器学习在学术界一直很活跃，却很少在实际环境中应用。主要因为：1. 网络异常检测对精确度要求很高，对错误容忍率较低（对比推荐系统，语音识别等）;2. 网络异常检测要求结果具备可解释性;3. 测试数据集（比如DARPA）无法反应实际环境；4. 网络正常环境复杂多变。所以，当我们想要将...
机器学习测试-入门与实践 读书笔记
qq_41686821的博客
07-16 424
第八章 机器学习测试基础 8.1 了解机器学习的周期 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-znsVkDI6-1626365517133)(/Users/wengzhiqiang/Library/Application Support/typora-user-images/image-20210715234727272.png)] 收集数据：包括数据的采集、数据集划分等等工作； 特征工程：对收集的数据进行数据预处理、对特征依各种指标进行选择等等； 训练模型：包括模型
机器学习抗攻击双模 PUF读书笔记.docx
03-09
机器学习抗攻击双模 PUF 是一种旨在提升硬件安全性的技术，主要应用于硅物理不可克隆功能（PUF）的设计。PUF 是一种利用芯片内部微小制造差异生成独特响应的安全设备，常用于身份验证、密钥存储和硬件认证等场景。...
《零基础学机器学习》读书笔记五之机器学习项目实战架构
青青木屋
02-04 668
机器学习项目实战指导
机器学习平台建设（一）
2301_81887304的博客
01-17 2082
下图是较简化的机器学习平台架构，概括了机器学习平台的主要功能和流程。本章会进行简要介绍，在功能章节再展开详述。机器学习最主要的三个步骤可概括为：数据处理、建模以及部署。数据处理，即所有和数据相关的工作，包括存储、加工、采集和标记几大主要功能。前三者与大数据平台几乎一致，标记部分是机器学习平台所独有。数据存储较好理解，要根据存取的特点找到合适的存储系统。数据加工，也被称为ETL（Extract，Transform，Load），即将数据在不同的数据源间导入导出，并对数据进行聚合、变形、清洗等操作。数据采集，即从
Machine Learning and Data Mining for Computer Security
09-05
Intrusion detection and analysis has received a lot of criticism and publicity over the last several years. The Gartner report took a shot saying Intrusion Detection Systems are dead, while others believe Intrusion Detection is just reaching its maturity. The problem that few want to admit is that the current public methods of intrusion detection, while they might be mature, based solely on the fact they have been around for a while, are not extremely sophisticated and do not work very well. While there is no such thing as 100% security, people always expect a technology to accomplish more than it currently does, and this is clearly the case with intrusion detection. It needs to be taken to the next level with more advanced analysis being done by the computer and less by the human. The current area of Intrusion Detection is begging for Machine Learning to be applied to it. Convergence of these two key areas is critical for it to be taken to the next level. The problem is that I have seen little research focusing on this, until now. After reading Machine Learning and Data Mining for Computer Security, I feel Dr Maloof has hit the target dead centre. While much research has been done across Computer Security independently and Machine Learning independently, for some reason no one wanted to cross-breed the two topics. Dr Maloof not only did a masterful job of focusing the book on a critical area that was in dire need of research, but he also strategically picked papers that complemented each other in a productive manner. Usually reading an edited volume like this, the chapters are very disjointed with no connection between them. While these chapters cover different areas of research, there is a hidden flow that complements the previous chapter with the next. While Dr Maloof points out in his Preface the intended audience, I feel that there are two additional critical groups. Firstly, I feel that any vendor or solution provider that is looking to provide a competitive a
机器学习技术在安全性和完整性方面的探索
11-22
机器学习技术在安全性和完整性方面的探索 机器学习及其实践应用 英文版
Data Mining and Machine Learning in Cybersecurity
01-03
Data Mining and Machine Learning in Cybersecurity
机器学习与信息安全
Goallegoal的博客
04-28 1994
机器学习与信息安全 什么是机器学习 机器学习首先要有一个学习算法即初步的模型，然后对该算法输入大量的数据供其学习，使其具有独立判断预测的能力。机器学习 ≈ 寻找一个好的函数。该函数不是通用的，针对不同的任务得到的函数是不同的。通过数据来获得一个好的函数，利用历史数据 “训练” 产生一个好的函数 (称之为“模型”)，利用 "模型” 对新数据进行 "预测” 。 机器学习的思想并不复杂，仅仅是对人类在生...
基于机器学习的安全数据集
杨秀璋的专栏
09-07 1万+
为了更好的帮助大家从事安全领域机器学习和深度学习（AI+安全）相关的研究，这篇文章将分享安全相关的数据集供大家下载和实验，包括恶意URL、流量分析、域名检测、恶意软件、图像分类、垃圾邮件等，也欢迎大家留言推荐数据集供我补充。这是作者的系列网络安全自学教程，主要是关于网安工具和实践操作的在线笔记，特分享出来与博友共勉，希望您们喜欢。
机器学习系统安全
Colin的博客
11-19 2895
Abstract 机器学习已经成为当前计算机领域研究和应用最广泛的技术之一，在图像处理、自然语言处理、 网络安全等领域被广泛应用。然而，一些机器学习算法和训练数据本身还面临着诸多安全威胁，进而影响到基于机器学习的面部检测、恶意程序检测、自动驾驶汽车等实际应用系统的安全性。由目前已知的、针 对 SVM 分类器、聚类、CNN、RNN等多种机器学习算法的安全威胁为出发点，介绍在机器 学习的训练阶段和测...
机器学习在安全领域的应用：从大数据中识别潜在安全威胁
热门推荐
科技改变人类，技术成就未来
04-14 3万+
当谈到机器学习在安全领域的应用时，不可否认其在提升安全保障能力方面的重要性。机器学习技术的迅猛发展和不断完善，为威胁检测、视频监控和自然语言处理等安全领域带来了前所未有的机遇和挑战。本博客将深入探讨机器学习在安全领域的广泛应用，以及其对安全保障能力的提升。在过去的几年中，安全风险与威胁不断增加，传统的安全技术已经不能满足当今快速发展的威胁。因此，人们开始将机器学习技术引入安全领域，以帮助分析、监控和预防安全威胁。
异常检测系统开发与评估：机器学习实战
在本篇笔记中，我们将探讨"开发和评价一个异常检测系统"的关键概念，这是斯坦福大学2014年的机器学习课程的一部分，由黄海广整理，适用于对异常检测算法感兴趣的读者。异常检测算法属于非监督学习范畴，其核心在于...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值