DARPA-TC-engagement5-theia部分数据格式分析

最新推荐文章于 2024-04-13 05:02:04 发布
最新推荐文章于 2024-04-13 05:02:04 发布
阅读量1.5k 收藏 6
点赞数 3
文章标签： 数据集 DRAPA TC
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_44623371/article/details/132191163
版权

转换出来的jsons数据主要分为四大类：Event、Subject、Object和Principal，分别代表系统事件、主体、客体和用户。各种大类中子类的数量，取决于CDM的版本。ShadeWatcher使用的是e3的数据，采用的是CDM18，而e5默认使用的是CDM20。相较于cdm18，发生了一些变化，主要是改变了一些字段，增加了一些类型。这些类型大多是系统调用，用于细化事件类型。本文以ShadeWatcher和转换出来的小样本数据为参考依据对数据格式进行分析，可能存在遗漏。json数据样例（只包含EVENT）可在我GitHub进行下载，或是参考之前的博客自行转换。DARPA TC-engagement5数据集解析为json格式输出到本地

image-20230809094825929

1. Event

e3数据集采用cdm18进行解析，Event一共有23种类型。ShadeWatcher采用了其中的19种类型，丢弃了4种类型EVENT_BOOT、EVENT_MMAP、EVENT_OTHER、EVENT_MPROTECT。cdm20新增了五种，目测这几个类型的数据占比都不大。

syscallMap["EVENT_EXECUTE"] = SyscallType_t::Execve;
syscallMap["EVENT_CLONE"] = SyscallType_t::Clone;
syscallMap["EVENT_FORK"] = SyscallType_t::Clone;
syscallMap["EVENT_OPEN"] = SyscallType_t::Open;
syscallMap["EVENT_CLOSE"] = SyscallType_t::Close;
syscallMap["EVENT_CONNECT"] = SyscallType_t::Connect;
syscallMap["EVENT_UNLINK"] = SyscallType_t::Delete;
syscallMap["EVENT_READ"] = SyscallType_t::Read;
syscallMap["EVENT_WRITE"] = SyscallType_t::Write;
syscallMap["EVENT_RECVFROM"] = SyscallType_t::Recvfrom;
syscallMap["EVENT_SENDTO"] = SyscallType_t::Sendto;
syscallMap["EVENT_RECVMSG"] = SyscallType_t::Recvmsg;
syscallMap["EVENT_SENDMSG"] = SyscallType_t::Sendmsg;
syscallMap["EVENT_RENAME"] = SyscallType_t::Rename;
syscallMap["EVENT_READ_SOCKET_PARAMS"] = SyscallType_t::Recv;
syscallMap["EVENT_WRITE_SOCKET_PARAMS"] = SyscallType_t::Send;
syscallMap["EVENT_LOADLIBRARY"] = SyscallType_t::Load;
syscallMap["EVENT_CREATE_OBJECT"] = SyscallType_t::Create;
syscallMap["EVENT_UPDATE"] = SyscallType_t::Update;

一个数据样例如下所示：

{
    "CDMVersion": "20",
    "source": "SOURCE_LINUX_THEIA",
    "type": "RECORD_EVENT",
    "#":"会话号，shadewatcher采用了这个字段但是没有采用它的值，而是将一个图视为一个会话",
    "sessionNumber": 5,
    "datum": {
        "com.bbn.tc.schema.avro.cdm20.Event": {
            "#":"第二个对象，update和rename事件会有两个对象(对应两条边)，其余对象该字段为全0",
            "predicateObject2": {
                "com.bbn.tc.schema.avro.cdm20.UUID": "00000000-0000-0000-0000-000000000000"
            },
            "predicateObjectPath": null,
            "subject": {
                "com.bbn.tc.schema.avro.cdm20.UUID": "2A266F68-012B-5E22-9CA7-575CE8BEE27C"
            },
            "programPoint": null,
            "properties": {
                "map": {}
            },
            "predicateObject": {
                "com.bbn.tc.schema.avro.cdm20.UUID": "B5AF11CE-7902-5F60-8E72-4ECB30FDAEDA"
            },
            "threadId": {
                "int": 1958
            },
            "predicateObject2Path": null,
            "type": "EVENT_READ",
            "uuid": "FD4496E1-54A8-598C-9408-5E123500A8D4",
            "size": {
                "long": 272
            },
   
            "timestampNanos": "1557235299707",
            "names": null,
            "parameters": null,
            "#":"表示事件相对于同一执行线程中的其他事件的逻辑顺序",
            "sequence": {
                "long": 1
            },
            "location": null
        }
    },
    "hostId": "37345038-89F2-5899-8FD2-B6D0844A7DBF",
    "@timestamp": "2019-05-07T13:21:39.707Z"
}

2. Subject

Subject有且只有一种，那就是进程。

{
    "CDMVersion": "20",
    "source": "SOURCE_LINUX_THEIA",
    "type": "RECORD_SUBJECT",
    "sessionNumber": 5,
    "datum": {
        "com.bbn.tc.schema.avro.cdm20.Subject": {
            "privilegeLevel": null,
            "unitId": null,
            "#":"ppid是父进程的进程号，path为程序地址，其余字段为一些文件权限",
            "properties": {
                "map": {
                    "sgid": "1003",
                    "suid": "1003",
                    "egid": "1003",
                    "gid": "1003",
                    "uid": "1003",
                    "tgid": "1911",
                    "fsgid": "1003",
                    "fsuid": "1003",
                    "euid": "1003",
                    "path": "/usr/lib/gvfs/gvfs-afc-volume-monitor",
                    "ppid": "1"
                }
            },
            "iteration": null,
            "type": "SUBJECT_PROCESS",
            "uuid": "C6A9DF04-D14A-57F2-97C3-3CBE2C0FF4FF",
            "parentSubject": {
                "com.bbn.tc.schema.avro.cdm20.UUID": "DD56B598-9E74-58C3-B3E8-2C623780B8ED"
            },
            "importedLibraries": null,
            "#":"进程号",
            "cid": 1912,
            "localPrincipal": {
                "com.bbn.tc.schema.avro.cdm20.UUID": "991869FF-5610-5CCB-9BA4-346353351B12"
            },
            "startTimestampNanos": {
                "long": 1557235386887758779
            },
            "count": null,
            "#":"内核启动参数，相当于是启动该进程的命令",
            "cmdLine": {
                "string": "/usr/lib/gvfs/gvfs-afc-volume-monitor"
            },
            "exportedLibraries": null
        }
    },
    "hostId": "37345038-89F2-5899-8FD2-B6D0844A7DBF",
    "@timestamp": "2023-08-08T02:36:47.351Z"
}

3. Object

object一共4种，分别为RECORD_MEMORY_OBJECT、RECORD_IPC_OBJECT、RECORD_FILE_OBJECT、RECORD_NET_FLOW_OBJECT。ShadeWatcher中只采用了后两种。

3.1 memory_object

{
    "CDMVersion": "20",
    "source": "SOURCE_LINUX_THEIA",
    "type": "RECORD_MEMORY_OBJECT",
    "sessionNumber": 5,
    "datum": {
        "com.bbn.tc.schema.avro.cdm20.MemoryObject": {
            "pageNumber": null,
            "baseObject": {
                "epoch": null,
                "properties": {
                    "map": {
                        "rc": "0"
                    }
                },
                "permission": null
            },
            "uuid": "B83AA80F-B1CD-5E10-B8A4-365281753277",
            "memoryAddress": 139867157049344,
            "pageOffset": null,
            "size": {
                "long": 2327040
            }
        }
    },
    "hostId": "37345038-89F2-5899-8FD2-B6D0844A7DBF",
    "@timestamp": "2023-08-08T02:36:40.315Z"
}

3.2 ipc_object

{
    "CDMVersion": "20",
    "source": "SOURCE_LINUX_THEIA",
    "type": "RECORD_IPC_OBJECT",
    "sessionNumber": 5,
    "datum": {
        "com.bbn.tc.schema.avro.cdm20.IpcObject": {
            "uuid1": null,
            "baseObject": {
                "epoch": null,
                "properties": {
                    "map": {
                        "path": "@/tmp/.X11-unix/X0"
                    }
                },
                "permission": null
            },
            "type": "IPC_OBJECT_SOCKET_ABSTRACT",
            "uuid": "B5AF11CE-7902-5F60-8E72-4ECB30FDAEDA",
            "fd1": null,
            "uuid2": null,
            "fd2": null
        }
    },
    "hostId": "37345038-89F2-5899-8FD2-B6D0844A7DBF",
    "@timestamp": "2023-08-08T02:36:40.327Z"
}

3.3 file_object

{
    "CDMVersion": "20",
    "source": "SOURCE_LINUX_THEIA",
    "type": "RECORD_FILE_OBJECT",
    "sessionNumber": 5,
    "datum": {
        "com.bbn.tc.schema.avro.cdm20.FileObject": {
            "fileDescriptor": null,
            "hashes": null,
            "peInfo": null,
            "localPrincipal": {
                "com.bbn.tc.schema.avro.cdm20.UUID": "B6C54489-38A0-5F50-A60A-FD8D76219CAE"
            },
            "baseObject": {
                "epoch": null,
                "properties": {
                    "map": {
                        "uid": "0",
                        "inode": "0x520ca3",
                        "mode": "0",
                        "dev": "0xfd00001",
                        "#":"少部分文件对象不具有这个字段",
                        "filename": "/lib/x86_64-linux-gnu/libutil-2.15.so",
                        "ids": "0/0",
                        "gid": "0"
                    }
                },
                "permission": null
            },
            "type": "FILE_OBJECT_BLOCK",
            "uuid": "0100D00F-A30C-5200-0000-0000BB90005A",
            "size": null
        }
    },
    "hostId": "37345038-89F2-5899-8FD2-B6D0844A7DBF",
    "@timestamp": "2023-08-08T02:36:40.827Z"
}

3.4 netflow_object

{
    "CDMVersion": "20",
    "source": "SOURCE_LINUX_THEIA",
    "type": "RECORD_NET_FLOW_OBJECT",
    "sessionNumber": 5,
    "datum": {
        "com.bbn.tc.schema.avro.cdm20.NetFlowObject": {
            "fileDescriptor": null,
            "localAddress": {
                "string": "10.0.6.60"
            },
            "remoteAddress": {
                "string": "10.0.4.2"
            },
            "localPort": {
                "int": 22
            },
            "remotePort": {
                "int": 36764
            },
            "ipProtocol": null,
            "baseObject": {
                "epoch": null,
                "properties": {
                    "map": {}
                },
                "permission": null
            },
            "uuid": "0A00063C-1600-0A00-0402-9C8F00000000",
            "initTcpSeqNum": null
        }
    },
    "hostId": "37345038-89F2-5899-8FD2-B6D0844A7DBF",
    "@timestamp": "2023-08-08T02:36:40.324Z"
}
C00per_
关注
  • 3
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 9
    评论
Avro Schema 格式说明+示例
03-24
例如：Test.avsc文件，利用avro的插件可生成对应的Test 类，这个类可以利用avro的API序列化和反序列化
DARPA2000数据集
01-21
DARPA 2000年评测数据包括覆盖了Probe,DoS,R2L,U2R和Data等5大类58种典型攻击方式,是目前最为全面的攻击测试数据集.同时,作为研 究领域共同认可及广泛使用的基准评测数据集,DARPA 2000年评测数据为新提出的入侵检测算法和技术与其他算法之间的比较提供了可能.
论文细读：DARPA Transparent Computing Program 对抗性交战1的分析结果
yuehao1143631149的博客
04-26 2179
DARPA Transparent Computing Program 对抗性交战1的分析结果 abstract 美国国防部高级研究计划局(DARPA) TC项目于2016年10月进行了第一次交战，本报告提供了第一次对抗性交战事件流的攻击分析结果。这项分析是由石溪大学和伊利诺斯大学芝加哥分校进行的。本报告的调查结果是在事先不知道进行攻击的情况下获得的。 1 交战1分析结果：UIC（芝加哥伊利诺州立大学） 1.1 overview 我们建立了一个基于标签和策略的攻击检测和取证分析系统。我们的系统实时
DARPA TC-engagement5数据集官方工具可视化_darpa数据集(1)
最新发布
2401_84159783的博客
04-13 768
外链图片转存中…(img-BGNz7S41-1712955654745)]
DARPA2000超详细数据介绍
xiyaooo的博客
02-29 8883
1.基本情况介绍 最近在做一个项目，也可以说是在写paper使用到了DARPA2000的数据集，首先这个数据集里面包括了网络数据包数据和日志文件。首先我们需要明白网络数据包数据和日志文件收集方式的不同。 2.收集数据的网络结构 官网给出来DARPA98的网络结构图如下： 从图中我们可以看到嗅探数据和审计数据分别是从Sparc1和inside server收集的，DARPA2000数据未给出明确的...
DARPA、NSL-KDD、Adult等安全方面的数据集下载地址
qq_41122834的博客
06-01 1748
http://users.cis.fiu.edu/~lpeng/Datasets_detail.html
DARPA TC-engagement5数据集官方工具可视化
qq_44623371的博客
04-06 3442
DARPA TC入门教程
DARPA TC-e3/e5数据集bin转json
qq_44623371的博客
08-07 1859
文件内容theia存放原始数据的文件夹数据库，已经不需要了，但是logstash以来这个数据库，所以还是保留了logs存放json文件的地方logstash日志收集器，负责收集解压出来的log4j日志，然后输出到本地文件镜像的配置文件一个模式文件，用于规范化数据格式，负责从log到json的转换官方的java包，用于解压、读取并参考上述数据规范生成标准格式的数据通过socket发送。
有谁用过darpa数据集的吗？
hahayuan09的专栏
01-18 2190
有谁用过darpa数据集的，用过的人可以联系我吗，我现在在做入侵检测的程序，不会做，希望高手可以帮帮我，我的qq是287312357，小妹在此谢过了！
林肯实验室darpa数据集_2000年(Lincoln Laboratory Scenario (DD0S) 2.0.2)
06-12
林肯实验室darpa数据集_2000年(Lincoln Laboratory Scenario (DD0S) 2.0.2)
darpa1999第二周星期三内网数据
01-25
darpa1999数据集的部分数据，可用于测试网络安全程序效果
james邮件安装教程-附安装包
01-18
mailet对e-mail 所起的作用与servlets对Web服务器的作用相似，E-mail服务器在最终发展成为Internet的DARPA出现的早期就已经很普遍了，但 James 为这个经常被称为Internet最关键的应用提供了新的可能性。
cb-multios:适用于Linux，Windows和macOS的DARPA挑战集
04-30
Linux，OS X和Windows上的DARPA挑战二进制文件 DARPA挑战二进制（CB）是定制程序，专门设计为包含代表各种崩溃软件漏洞的漏洞。 它们不只是简单的测试用例，它们近似于具有足够复杂性的真实软件，以强调手动和自动...
测试我的数据-数据集
03-06
这是我的测试项目 新建文本文档.txt
DARPA发布原子-光子集成项目
12-06
Military Aerospace网站2018年8月1日报道，美军研究人员希望工业部门能够为高性能定位、导航与授时（PNT）设备研发一种相对便携的光子集成电路（PIC），可在全球定位系统（GPS）信号不可用的情况下替代GPS。
DARPA GRAND CHALLENGE-开源
04-28
DARPA Urban Challenge，一个基于C ++的平台，用于测试路径规划算法：博弈论和神经网络的应用。 鲁宾·拉斐尔（2007）
Faster R-CNN论文笔记——FR
热门推荐
FR的专栏
10-20 5万+
在介绍Faster R-CNN之前，先来介绍一些前验知识，为Faster R-CNN做铺垫。 一、基于Region Proposal（候选区域）的深度学习目标检测算法 Region Proposal（候选区域），就是预先找出图中目标可能出现的位置，通过利用图像中的纹理、边缘、颜色等信息，保证在选取较少窗口（几千个甚至几百个）的情况下保持较高的召回率（IoU，Intersection-over-
darpa E3和E5数据集bin文件数据读取
wang1791499553的博客
10-11 717
darpa数据集解析
CINDAR/CB雷达数据格式
11-04
CINDAR/CB雷达数据格式是一种基于YUV格式的数据格式，它是由美国国防部高级研究计划局（DARPA）资助的CINDAR项目开发的。该格式主要用于雷达图像和视频的传输和存储，其数据存储格式与YUV格式不同，具体的存放格式可以参考官方文档：http://v4l.videotechnology.com/dwg/v4l2.pdf。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 9
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值