【异常检测】基于常用数据集LANL和CERT的异常检测源代码（https://github.com/pnnl/safekit）实践

最新推荐文章于 2024-04-03 15:45:55 发布
最新推荐文章于 2024-04-03 15:45:55 发布
阅读量1.1k 收藏 8
点赞数 1
分类专栏： 异常检测
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_38391210/article/details/104904900
版权
本文记录了在Windows 10环境下，使用Python 3.6.5和Tensorflow 1.14.0运行异常检测项目safekit的实践过程。主要涉及对源码的三个关键修改：（1）时间格式修复以适应Windows文件命名规则；（2）Linux命令替换为Windows兼容的文件操作；（3）结果文件添加.txt后缀。此外，还分享了在处理路径、错误日志查看、转义字符等方面的经验和注意事项。
摘要由CSDN通过智能技术生成

写在前面

花了很长时间，总算把https://github.com/pnnl/safekit中的源码部分跑完了，踩了一些坑，这里记录一下我的解决过程。

环境

我的电脑是win10系统，python是3.6.5版本，Tensorflow是1.14.0版本。

源码

源码是一个基于常用数据集LANL和CERT的异常检测代码https://github.com/pnnl/safekit。前面的博客已经介绍了这个源码的结构和每个文件的作用。要注意的是该源码是基于Linux的，所以里面的命令啥的都是基于Linux的，还有就是论文作者用的是python2.注意一下这两点。下面是我对源码的几个地方的修改：
修改一：
safekit/model/simple_lm.py文件的line 167，添加了一行代码，如下：
在这里插入图片描述我添加了 outfile_name=outfile_name.replace(’:’,’-’)。先说一下line 167这里的意思，这里的outfile_name其实就是后面要写入训练结果的文件名字。因为在运行test/lanl_lm_tests.py的时候，会实践好几个输入，对应会生成好几个文件，所以这里通过文件命名来区分生成的文件。outfile_name其实就是一次训练的时间&#

最低0.47元/天 解锁文章
精致又勤奋的码农
关注
  • 1
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 4
    评论
专栏目录
【异常检测】基于常用数据集LANL和CERT的异常检测源代码（https://github.com/pnnl/safekit）解读
qq_38391210的博客
03-16 3934
写在前面 最近在做一个异常检测项目，采用LANL数据集进行实践，找到了一份基于LANL数据集和CERT数据集的异常检测实践源码。花了一些时间研究源代码，这里把研究的结果记录下来。 源代码 使用的源代码链接为：https://github.com/pnnl/safekit。基于这篇源代码有两篇异常检测论文，如果有兴趣的也可以去下载阅读。一篇是Recurrent Neural Network Lang...
CMU-CERT内部威胁数据集 r4.2版本介绍
weixin_44652589的博客
08-07 1399
CMU-CERT 内部威胁数据集 r4.2版本
CMU-CERT内部威胁数据集 Insider Threat_cert数据集，2024年最新网络安全面试点梳理
最新发布
qd520_1314的博客
04-03 849
在结束之际，我想重申的是，学习并非如攀登险峻高峰，而是如滴水穿石般的持久累积。尤其当我们步入工作岗位之后，持之以恒的学习变得愈发不易，如同在茫茫大海中独自划舟，稍有松懈便可能被巨浪吞噬。然而，对于我们程序员而言，学习是生存之本，是我们在激烈市场竞争中立于不败之地的关键。一旦停止学习，我们便如同逆水行舟，不进则退，终将被时代的洪流所淘汰。因此，不断汲取新知识，不仅是对自己的提升，更是对自己的一份珍贵投资。让我们不断磨砺自己，与时代共同进步，书写属于我们的辉煌篇章。需要完整版PDF学习资源私我。
CMU-CERT内部威胁数据集 Insider Threat
weixin_44652589的博客
05-15 2129
CMU-CERT数据集是卡耐基梅隆大学(简称CMU)CERT研究中心发布的数据集。本文介绍了r1版本数据集中的内容。
LANL Earthquake Prediction收获
zhj_fly的博客
06-11 819
一、简介 比赛地址：传送门 描述：该比赛目标是使用地震信号来预测地震发生的时间。 训练数据：两列，第一列是地震的信号数值acoustic_data，第二列是还有多久发生地震time_to_failure（记为TTF）。数据量是629145480行，即629145480个acoustic_data和TTF。 测试数据：有2624个测试文件，每个文件有150,000行数据，只有acoustic...
lanl-ansi.github.io:ANSI网站源代码-git source code
03-25
发展须知 在本地构建， bundle exec jekyll serve --incremental 有关安装依赖项的说明，请参见此处的Ruby Gem方法， 报告编号： LA-UR-18-24590
基于网络通信异常识别的多步攻击检测方法
01-14
分别在DARPA 2000数据集和LANL数据集上进行实验验证，实验结果表明，所提方法可以有效检测并重构出多步攻击场景。所提方法可有效监测包括未知特征攻击类型在内的多步攻击，为检测 APT 等复杂的多步攻击提供了一种...
cyberanom:使用RNN语言模型进行网络异常检测
05-01
网络冲突使用RNN语言模型进行网络异常检测该项目的工作基于论文 本文引用了该LANL安全数据仅在本文中使用了proc.txt和redteam.txt。 该项目包含不同的实验代码： 实验1：实施完全基于safekit项目 实验2：我们自己...
lanl0rd.github.io
03-28
Lanl0rd 该项目是使用版本9.0.3生成的。开发服务器为开发服务器运行ng serve 。 导航到http://localhost:4200/ 。 如果您更改任何源文件，该应用程序将自动重新加载。代码脚手架运行ng generate component component...
InsiderThreatIsolationForest:使用隔离林进行内部威胁检测
05-16
内幕威胁隔离森林 使用隔离林进行内部威胁检测 输入数据是CERT版本4.2中的login.csv文件： ://resources.sei.cmu.edu/library/asset-view.cfm?assetid=508099在数据目录中找到输入数据。 Jupyter Notebook文件用于运行和评估算法。 Python和Bash脚本用于预处理输入数据。
MIT+CMU face database
12-13
用于测试人脸分类器的人脸库，130张图片507张人脸
数据融合matlab代码-LANL:局域网
05-22
数据融合matlab代码LANL_LADSS 我鼓励对此工作感兴趣的人阅读该存储库中包含的会议论文“ VISIO-ACOUSTIC DATA FUSION”。 该工作是在洛斯阿拉莫斯国家实验室的第20所洛斯阿拉莫斯动力暑期学校进行的。 提供了所有...
Log BERT 日志异常检测
Mark_Australia的博客
09-29 4715
Log Bert
Kaggle比赛系列：（1）LANL Earthquake Prediction
一直在路上
01-04 897
比赛介绍 地震预测主要是为了解决3个问题：什么时候会发生？（when）会在哪里发生？（where）会发生多大规模的地震？(what)。这个竞赛主要是预测地震什么时候会发生，具体来说，将根据实时地震数据预测实验室地震发生前的剩余时间（地震是模拟的，数据是真实的） 数据集：链接: https://pan.baidu.com/s/1oOZK6jc8BzxKUcp8OsgHMQ 提取码: 9i8c 数据集...
计算机视觉——【数据资源】各类数据集搜索及下载资源
技术更新每天
10-18 1677
数据集搜索及下载资源The Koblenz Network Collection（国外）聚数力(国内) The Koblenz Network Collection（国外） 网址：http://konect.uni-koblenz.de/ 聚数力(国内) 网址:http://dataju.cn/Dataju/web/home ...
Kaggle比赛记录（三）LANL Earthquake Prediction
万carp的博客
06-07 1652
       第二次参加Kaggle，是有关地震预测的题目。这一次比赛的成绩并不出彩，        这场比赛的数据集十分庞大，
【能源数据分析-00】能源领域数据集集锦（动态更新）
qq_38614074的博客
03-25 1347
大数据科学在能源领域的深度应用，已经深刻改变了这一行业的垂直格局。它为我们提供了宝贵的见解，帮助降低下游市场的成本，使石油生产商能够更好地应对市场繁荣期的需求。近期，石油价格的剧烈下跌给全球经济带来了沉重打击，而价格的频繁波动以及能源项目的高昂成本，使得高质量的信息变得至关重要。如今，随着组织开始利用流数据技术来提升能源效率，大数据已经成为实现这一目标的关键工具。例如，某大型大学就通过监控和分析其能源使用的流数据，结合天气数据，实现了对能源利用和生产的实时优化调整。
使用基于用户行为的多模糊分类器的内部威胁检测（User behavior based Insider Threat Detection using a Multi Fuzzy Classifier）
一智哇的博客
03-24 1881
User behavior based Insider Threat Detection using a Multi Fuzzy Classifier 使用基于用户行为的多模糊分类器的内部威胁检测 摘要：内部威胁是组织安全漏洞的一个重要来源。许多研究使用机器学习和深度学习方法进行内部威胁检测，这些方法依赖预先定义好的规则，需要明确的特征工程，同时具有较高的误报率。为了克服这些问题，本文的工作重点是引入了一种基于用户行为分析的增强内部威胁检测方法。这种方法具有较低的误报率，更快的检测，更高的准确率。 实现这
综合题 设某公司为构建公司内部网络，申请到IP地址块为130.38.28/24。公司经过调研，决定在公司内部划分3个局域网Lanl至Lan3，每个局域网上的主机数分别为90、60和40。试为该公司进行网络规划设计，要求： (1)给出每一个局域网相应的IP地址块(包括前缀)。 (2)每一个局域网可分配给主机使用的最小地址和最大地址是什么？假设该公司的网络接入Internet，公司网络中的主机可以访问Internet。 (3)假设该公司网络中的主机A使用12345的TCP端口与Web服务器通信，则当Web服务器返回信息给主机A时，相应数据包中的目标端口号及源端口号分别是什么？ (4)假设Internet中有一台Web服务器的域名为www.glut.edu.cn，其首页为des.htm，试写出访问该首页的URL。
03-12
(1) 根据给定的IP地址块130.38.28/24，可以将其划分为三个子网，分别为130.38.28.0/25、130.38.28.128/26和130.38.28.192/26，其中前缀长度分别为25、26和26。 (2) 对于每个子网，可分配给主机使用的最小地址和最大地址如下： - 子网1（130.38.28.0/25）：最小地址为130.38.28.1，最大地址为130.38.28.126。 - 子网2（130.38.28.128/26）：最小地址为130.38.28.129，最大地址为130.38.28.190。 - 子网3（130.38.28.192/26）：最小地址为130.38.28.193，最大地址为130.38.28.254。 假设该公司的网络接入Internet，公司网络中的主机可以访问Internet。 (3) 当Web服务器返回信息给主机A时，相应数据包中的目标端口号为12345，源端口号为Web服务器使用的端口号（通常为80）。 (4) 访问www.glut.edu.cn的首页des.htm的URL为http://www.glut.edu.cn/des.htm。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值