(一) KNN---异常行为检测

最新推荐文章于 2024-01-25 23:04:35 发布
最新推荐文章于 2024-01-25 23:04:35 发布
阅读量2.2k 收藏 11
点赞数
分类专栏： 机器学习 文章标签： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43313634/article/details/108183087
版权
本文介绍了如何使用KNN进行异常行为检测，详细阐述了数据探索过程，包括查看用户操作命令文件和执行命令情况。通过模型代码演示了KNN的训练与预测步骤，并探讨了交叉验证中的`cross_val_score`，强调了其在模型评估中的作用。最后，简要介绍了KNN算法，特别是加权投票法在分类预测中的应用。
摘要由CSDN通过智能技术生成

文章目录

一、项目说明

	linux系统主机安全检测。通过收集linux的bash操作日志，通过训练识别特定用户的操作习惯，然后进一步识别出异常操作行为。本次使用k近邻检测执行异常指令。本次数据使
用 http://www.schonlau.net/ 上发布的针对linux操作的训练数据。训练数据包括50个用户的操作痕迹， 每个日志包含15000条操作命令，前5千条都是正常操作，后1万条随机包含异常操作。数据集每100条操作作为一个操作序列，同时进行了标注(label.txt文件)，只要有1条操作异常即认为是操作异常序列。

二、数据初步探索

1、查看用户操作命令文件(共计约3M左右)

import os
user_50_cmd_li = os.listdir("./data/MasqueradeDat/")
print("命令日志文件有:\n", user_50_cmd_li)

命令日志文件有:
 ['label.txt',
  'User36', 'User5', 'User44', 'User20', 'User13',
  'User23', 'User10', 'User30', 'User4', 'User17', 
  'User31', 'User32', 'User14', 'User2', 'User27', 
  'User11', 'User41', 'User35', 'User28', 'User37',  
  'User18', 'User34', 'User12', 'User42', 'User19', 
  'User39', 'User45', 'User9', 'User3', 'User15', 
  'User21', 'User43', 'User24', 'User26', 'User49', 
  'User16', 'User7', 'User1',  'User25', 'User8'
  'User29', 'User46',
最低0.47元/天 解锁文章
不犹豫～不后悔
关注
  • 0
    点赞
  • 踩
  • 11
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
学习笔记3：日志异常检测之日志解析
hyq99999的博客
12-16 1698
最近在准备一个基于深度学习的日志分析项目，这是学习笔记
检测 KNN 异常数据
06-14
异常数据检测 可以下载参考看看 很好用
【机器学习】异常检测算法之(KNN)-K Nearest Neighbors
fengdu78的博客
04-25 5805
sklearn库里的KNN并没有直接用于异常检测，但是包含了距离计算的函数，所以我们应用PyOD中KNN库进行异常检测，里面基本上也是调用sklearn的函数进行计算，并进行了一些加工。一、图解KNN异常检算法KNN怎么进行无监督检测呢，其实也是很简单的，异常点是指远离大部分正常点的样本点，再直白点说，异常点一定是跟大部分的样本点都隔得很远。基于这个思想，我们只需要依次计...
异常检测系列：K最近邻算法KNN
数智笔记
01-25 1644
上表显示了正常组和异常组的特征。它显示了正常组和异常组的计数和计数百分比。请记住，在有效的展示中，要用特征名称标记特征。一旦确定了阈值，大小就确定了。如果阈值是从图（D.2）中得出的，并且没有先验知识，那么大小统计数据成为一个很好的起点参考。所有均值必须与领域知识一致。在我们的案例中，异常组的均值小于正常组的均值。异常组的平均分数应该高于正常组的分数。您不需要过多解释分数。因为我们在数据生成中有真实值，所以我们可以生成一个混淆矩阵来了解模型的性能。该模型表现不错，并且识别出了所有的25个异常值。
KNN除了可以做分类和预测，还知道它可以识别异常值吗？
lsxxx2011的专栏
08-07 2796
前言首先跟各位读者朋友道个歉，这篇文章来的较晚，距离上一篇有关数据分析中异常值的判断已超过3个月。在《Python数据清洗--异常值识别与处理01》文中，介绍了两种单变量...
KNN除了可以做分类和预测，你还知道它可以识别异常值吗？
lsxxx2011的专栏
08-05 773
前言 首先跟各位读者朋友道个歉，这篇文章来的较晚，距离上一篇有关数据分析中异常值的判断已超过3个月。在《Python数据清洗--异常值识别与处理01》文中，介绍了两种单变量的异常识别方法，分别是分位数法（即借助于箱线图的策略）和Sigma法（即借助于正态分布的假设）。 然而这两种方法，并不能从全局的角度识别出数据中可能存在的异常点。为解决这个问题，本文将借助于KNN模型的思想，从多变量的...
Book-Recommend-CF-KNN-master_推荐系统_
09-30
1. 数据预处理：包括数据清洗、评分缺失值处理、异常值检测等，这是构建推荐系统的第一步，确保后续分析的有效性和准确性。 2. 用户和物品表示：将用户和书籍转换成可以进行距离或相似度计算的向量形式，这通常通过...
异常检测常用的方法及算法
03-14
- **入侵检测**：监测计算机系统或网络中的异常行为，及时发现并阻止非法访问。 - **医疗健康**：利用异常检测技术辅助医生诊断疾病，提高诊断准确率。 - **风险预警**：如异常订单识别、风险客户预警等，帮助企业...
k-近邻算法_K-近邻算法_K._
09-29
1. **数据预处理**：首先，我们需要对数据进行预处理，包括数据清洗、缺失值处理、异常值检测和特征缩放。特征缩放是为了消除不同特征之间尺度的影响，常用的方法有标准化和归一化。 2. **选择k值**：选择合适的k值...
基于深度学习来检测家用电器异常使用声音作为输入-内含源码和说明书(可自己修改).zip
最新发布
05-24
此外，长短期记忆网络（LSTM）也可能被用于捕捉声音序列中的时间依赖性，这对于识别连续的异常行为尤其有用。 总的来说，这个项目展示了深度学习在解决实际问题上的强大能力，特别是如何利用声音这种非传统信号来...
python运用sklearn实现KNN分类算法
12-25
KNN（K-Nearest-Neighbours Classiflication）分类算法，供大家参考，具体内容如下 最简单的分类算法，易于理解和实现 实现步骤：通过选取与该点距离最近的k个样本，在这k个样本中哪一个类别的数量多，就把k归为哪一类。 注意 该算法需要保存训练集的观察值，以此判定待分类数据属于哪一类 k需要进行自定义，一般选取k<30 距离一般用欧氏距离，即​  通过sklearn对数据使用KNN算法进行分类 代码如下： ## 导入鸢尾花数据集 iris = datasets.load_iris() data = iris.data[:, :2] target
网络异常行为检测综述
03-13
网络异常行为检测综述 基于机器学习和深度学习的网络异常行为检测算法是当前网络安全领域的热点话题。该领域的研究旨在检测和预防网络中的异常行为，以保护用户的信息安全。机器学习和深度学习算法在网络异常行为...
KNN检测异常操作
ailx10
09-26 260
黑客入侵Linux服务器后，会进行提权操作，获取root权限。通过收集Linux服务器的Bash操作日志，这里仅仅给出了操作命令，而非完整命令。对特定用户的操作习惯进行训练，然后识别黑客的异常操作。1.数据收集和数据清洗训练数据有50个用户的操作日志，每个日志有15000条操作命令，前500条是正常操作，后10000条中存在攻击操作。我们只选择了一个用户3来进行机器学习训练。2.特征化第一步：对日...
异常检测1——python使用KNN模型进行异常检测
呆萌的代Ma
12-19 3204
pyod github项目地址：https://github.com/yzhao062/pyod pyod 文档地址：https://pyod.readthedocs.io/en/latest/ 数据源：https://github.com/zrnsm/pyculiarity/blob/master/tests/raw_data.csv 代码示例 from pyod.models.knn import KNN # 使用KNN异常检测 import pandas as pd def get_data()
基于KNN的网络流量异常检测研究
qq_61890005的博客
01-06 803
互联网的不断发展和广泛使用给网络用户带来了极大的方便，但同时也使得网络安全形势变得越来越严峻。针对网络异常检测方法检测精度不高，网络环境动态不稳定的问题，提出了基于K-最近邻算法（K-Nearest Neighbor,KNN）的网络流量异常检测算法。算法基于属性加权与距离加权组合加权的方法进行异常检测，其中使用随机森林算法进行特征选择并为特征赋予权重，样本距离采用高斯函数加权。最后采用KNN算法检测异常，经实验验证，本算法具有较好的检测效果和时效性。
异常检测专题
Gin077的专栏
08-31 335
1、吴恩达老师的课程 主要阐述一元高斯分布和多元高斯分布 https://blog.csdn.net/u012328159/article/details/51462942 2、实例：用机器学习检测异常流，作者尝试过NN、高斯分布和Isolation Forest http://www.sohu.com/a/160849130_642762 3、Isolation Forest htt...
【机器学习】异常检测
noobiee的博客
10-28 8916
异常检测实际案例：网络安全中的攻击检测，金融交易欺诈检测，疾病侦测，和噪声数据过滤等。时间序列的异常又分为点异常和模式异常。对于一个新观测值进行判断： 离群点检测: 训练数据包含离群点,即远离其它内围点。离群点检测估计器会尝试拟合出训练数据中内围点聚集的区域, 会忽略有偏离的观测值。 新奇点检测: 训练数据未被离群点污染，我们对新观测值是否为离群点感兴趣。在这个语境下，离群点被认为是新奇点。 离群点检测 也被称之为 无监督异常检测; 而 新奇点检测 被称之为 半监督异常检测。 在离群点检
异常检测 Tips
陈陈的专栏
08-16 678
https://www.coursera.org/learn/machine-learning/home/week/9异常检测?算法过程拟合P(x)的例子（假设每个样本独立）如果有两个特征，均值方差为，μ=(5,3),\sigema=(2,1)\mu=(5,3),\sigema=(2,1)每个特征的正太密度曲线为 将两个特征的密度函数相乘得到:用这个分布函数可以计算出每个点的概率: 建立一个异常
Bayes、KNN、PCA和异常检测基础
酱紫煲饭~
10-25 2956
Bayes 已知样本的某些特性，求解该样本属于某个类别的后验概率P(Y|X=x) 先验概率、条件概率、后验概率 先验概率:是指根据以往经验和分析得到的概率. 后验概率:事情已经发生，要求这件事情发生的原因是由某个因素引起的可能性的大小 贝叶斯定理： P(A|B)= P(A) * P(B|A) / P(B) 理解： 朴素贝叶斯是有训练数据学习联合概率分布P(X,Y),然后求得后验概率...
详细描述KNN算法怎么做异常检测
07-17
KNN（K-近邻）算法可以用于异常检测。下面是一种基本的方法来使用KNN算法进行异常检测： 1. 数据准备：首先，需要准备一个数据集，其中包含正常样本和异常样本。正常样本代表了正常行为或正常状态，而异常样本代表了异常行为或异常状态。 2. 特征选择：根据具体问题，选择适当的特征来描述数据。这些特征应该能够充分区分正常样本和异常样本。 3. 训练集和测试集划分：将数据集划分为训练集和测试集。通常，训练集包含大部分正常样本，而测试集包含正常样本和少量异常样本。 4. 计算距离：对于每个测试样本，在训练集中计算它与所有训练样本之间的距离。可以使用欧几里得距离或其他距离度量方法。 5. K值选择：选择一个合适的K值，即考虑最近的K个邻居。K值的选择需要根据具体问题和数据集进行调优。 6. 预测异常：对于每个测试样本，找到其最近的K个邻居。如果这些邻居中有较多的异常样本，则将该测试样本标记为异常。 7. 模型评估：计算模型的性能指标，如准确率、召回率、F1值等，来评估异常检测的效果。 需要注意的是，KNN算法对于异常检测可能存在一些限制。例如，在高维数据中，KNN可能会受到维度灾难的影响。此外，KNN算法对数据的分布假设较弱，可能对噪声和离群点敏感。因此，在实际应用中，需要根据具体问题和数据集的特点选择合适的异常检测方法。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值