Matano 开源安全数据湖部署与使用指南

Matano 开源安全数据湖部署与使用指南

matanoOpen source security data lake for threat hunting, detection & response, and cybersecurity analytics at petabyte scale on AWS项目地址:https://gitcode.com/gh_mirrors/ma/matano

目录结构及介绍

初始化后，您的Matano目录将用于控制和管理项目中的所有资源，如日志来源、检测和其他配置。以下是Matano目录的基本结构：

➜ example-matano-dir git:(main) tree
├── detections            # 检测规则存储位置
│   └── aws_root_credentials 
│       ├── detect.py    # Python脚本，定义具体的检测逻辑
│       └── detection.yml # YAML文件，描述检测规则元数据
├── log_sources          # 日志来源配置存放目录
│   ├── cloudtrail       
│       ├── log_source.yml # CloudTrail日志源配置
│       └── tables        # 表格模式定义
│           └── default.yml 
│   └── zeek             
│       ├── log_source.yml # Zeek日志源配置
│       └── tables        # 表格模式定义
│           └── dns.yml  
├── matano.config.yml     # 主配置文件，用于全局设置
└── matano.context.json   # 上下文文件，存储运行时状态信息

detections/

该目录下的每个子目录代表一个独立的检测规则集。每个检测规则通常包含一个Python脚本（detect.py）以及一个YAML文件（detection.yml），用于具体定义检测逻辑及其元数据。

log_sources/

此目录包含了所有可导入的日志来源配置。不同的日志类型有各自的子目录（例如CloudTrail或Zeek）。每个日志源都有其相应的log_source.yml配置文件和表格定义，用于规范如何处理特定类型的日志输入。

matano.config.yml

主配置文件，负责全局级别的项目设置，包括但不限于AWS凭据、数据存储选项等关键参数。

matano.context.json

这个JSON文件存储了运行时的状态信息，对于追踪和恢复Matano在不同操作阶段的上下文至关重要。

---

启动文件介绍

尽管没有明确提及“启动”这一概念，但部署或启动整个Matano系统主要依赖于CLI命令matano init和后续的matano deploy指令。其中:

matano init

这个命令用于初始化一个新的Matano工作区，在您指定的位置创建上述提到的目录结构及相关文件。确保此时环境已配置好AWS凭据，否则可能会遇到权限验证的问题。

matano deploy

一旦您对detections, log_sources 或其他配置进行了更新，通过运行此命令可以将这些更改应用到您的AWS账户中。这相当于真正意义上的“启动”，因为它触发了新规则或配置的实施。

---

配置文件介绍

detection.yml

在这个YAML配置文件内，详细记录着每个检测规则的关键属性，比如名称、描述、严重程度和触发条件。

log_source.yml

每种日志类型的源文件都拥有自己专门的配置，这里列出了从何处接收日志、应如何解析它们，以及其他预处理步骤。例如，cloudtrail/log_source.yml针对Amazon Web Services的CloudTrail服务进行定制。

tables/*.yml

这部分是日志转换和标准化的核心环节。在引入原始日志后，相关的*.yml文件定义了如何将其转化为Matano平台内部统一的数据模型，便于后期分析和响应。

matano.config.yml

作为Matano的核心配置，它提供了顶层的项目设定，涵盖AWS集成细节、默认通知渠道、全局过滤器配置等方面。

以上就是关于Matano项目基本目录结构和核心配置文件的详细介绍。遵循这些指导原则可以帮助您更高效地管理和扩展自己的安全数据湖环境。

matanoOpen source security data lake for threat hunting, detection & response, and cybersecurity analytics at petabyte scale on AWS项目地址:https://gitcode.com/gh_mirrors/ma/matano