Elastic 利用由 Search AI 提供支持的自动导入功能加速 SIEM 数据导入

 作者：来自 Elastic Jamie Hynds, Mark Settle

Elastic 正在通过自动导入功能自动完成 SIEM 数据导入，从而加速采用 AI 驱动的安全分析。这项新功能（安全分析或 SIEM 解决方案中独一无二的功能）可自动开发自定义数据集成。Elastic Security 现在添加自定义数据源的速度比任何竞争性安全分析解决方案都要快，从而有助于实现更广泛的可见性并更轻松地实施 SIEM。

在整个企业 IT 环境中建立可见性本质上很困难，但无论攻击面如何变化（创建应用程序、添加系统、将基础设施迁移到云中），安全团队都不能盲目行事。不幸的是，导入自定义数据一直很昂贵且复杂，直到现在。

自动导入功能可自动使用生成式 AI 开发自定义数据集成，从而减少创建和验证自定义集成所需的工作量（从几天缩短到不到 10 分钟），并显著降低导入数据的学习曲线。该功能由 Elastic Search AI 平台提供支持，该平台提供与模型无关的访问权限，以利用大型语言模型 (LLMs) 中的知识，并能够使用检索增强生成 (retrieval augmentted generation - RAG) 将答案扎根于专有数据中。此外，我们还拥有丰富的专业知识，能够帮助安全团队利用任何类型的数据，并且我们的 Search AI Lake 非常灵活，这也使该功能成为可能。

在组织探索其传统 SIEM 工具的替代方案时，自动导入应运而生。收集和规范化数据是任何迁移计划的第一步，首先要利用预构建的数据集成。接下来通常是需要自定义连接器的技术，但构建每个此类集成的手动性质可能会减慢新 SIEM 的采用和旧解决方案的淘汰。自动导入解决了这些挑战。

自动导入的影响

自动导入（Automatic Import）通过自动创建自定义数据集成，扩大了我们在应用生成式 AI 加快劳动密集型 SecOps 任务方面的领导地位。此版本基于我们之前的 AI 驱动的安全分析创新，例如可自动进行警报分类的 Attack Discovery 和可回答安全问题并指导从业人员工作流程的 Elastic AI Assistant。

5 月，我们发布了 Attack Discovery，以减少每天分类数百个安全警报的辛苦。Elastic 具有独特的优势，可以缓解快速变化的环境和混乱数据所固有的安全挑战，因为我们能够大规模处理非结构化数据，并且我们通过 LLMs 和 RAG 得出相关见解的策略。

Elastic 最大的安全客户之一最近迁移了近 200 个数据源，包括许多自定义技术。未来这种规模的客户将节省数百小时的咨询时间，并节省数周至数月的实施时间。

自动导入解决了切换 SIEM 的最大难题之一：引入自定义数据源。该功能可自动开发新的数据集成，从而降低迁移的成本、复杂性和压力。

Michelle Abraham，IDC 安全与信任研究总监

Elastic 附带 400 多个预构建的数据集成和计数，而自动导入功能使将可见性扩展到不断发展的安全相关技术和应用程序成为可能。这些集成将数据标准化为 Elastic Common Schema (ECS)，从而能够使用仪表板、搜索、警报、机器学习等进行统一分析。公共 LLMs 可以轻松处理和分析 ECS 格式的数据，因为它是一种流行的开源数据规范。

自动导入使构建和测试自定义数据集成变得更加容易，帮助我们快速提高整个环境的可见性。

Nate Thompson，Dana Inc. 网络安全分析与自动化高级经理

工作原理

自动导入易于使用，每个拥有企业许可证的人都可以使用。用户指定一些设置并上传示例数据，该功能将从这些数据推断出对数据源的期望。这些日志样本与 LLM 提示配对，这些提示已由 Elastic 工程师磨练过，可以可靠地生成符合要求的 Elasticsearch 摄取管道。然后，自动导入会迭代构建、测试和调整自定义摄取管道，直到满足 Elastic 集成要求。

由 Elastic Search AI 平台提供支持的自动导入

只需几分钟，该功能即可生成并验证自定义集成，将原始数据准确地映射到 ECS 和自定义字段，填充上下文信息（例如 related.* 字段）并对事件进行分类。

自动导入功能即将推出，通过 Elastic 的 Amazon Bedrock 连接器支持 Anthropic 模型，并且很快将推出其他 LLMs。它目前支持 JSON 和基于 NDJSON 的日志格式。

自动导入操作

假设你想要从 Teleport（一种用于保护对基础设施和 Web 应用程序的访问的工具）中引入审计事件。

首先导航至 Integrations -> Create new integration。

为新数据源提供名称和描述。

接下来，填写其他详细信息并提供一些示例数据（按你认为合适的方式匿名化）。

单击 “Analyze logs” 可将 Elastic 的集成详细信息、示例日志和专家编写的说明提交给指定的 LLM，后者使用生成式 AI 构建集成包。然后，自动导入会在自动反馈循环中对集成进行微调，直到验证其符合 Elastic 要求。

自动导入提供了 ECS 字段和自定义字段的推荐映射。如有必要，你可以轻松调整这些设置。

完成集成后，将其添加到 Elastic Agent 或在 Kibana 中查看。它现在可以与你的其他集成一起使用，并遵循与预构建集成相同的工作流程。

部署后，你可以立即开始分析新提取的数据。

快速迁移到 AI 驱动的安全分析

自动导入将构建和测试自定义数据集成所需的时间从几天缩短到几分钟，从而加速向 AI 驱动的安全分析的转换。此功能是在 SIEM 市场发生变化的时期推出的，许多传统 SIEM 的长期客户现在正在迁移到现代技术。

Elastic 将自动导入的独特功能与 Elastic 的深度预构建数据集成库相结合，实现更广泛的可见性和快速的数据写入。结合 Elastic AI Assistant 进行规则转换，该功能大大简化了 SIEM 迁移。

对我们的快速迁移计划感兴趣以升级到 Elastic？联系 Elastic 了解更多信息。

本文中描述的任何特性或功能的发布和时间均由 Elastic 自行决定。任何当前不可用的特性或功能可能无法按时交付或根本无法交付。

在这篇博文中，我们可能使用或提到了第三方生成 AI 工具，这些工具由其各自的所有者拥有和运营。 Elastic 无法控制第三方工具，我们对其内容、操作或使用不承担任何责任，也不对你使用此类工具可能产生的任何损失或损害承担任何责任。在使用 AI 工具处理个人、敏感或机密信息时，请谨慎行事。你提交的任何数据都可能用于 AI 培训或其他目的。我们无法保证你提供的信息会得到安全或保密。在使用任何生成式 AI 工具之前，你应该熟悉其隐私惯例和使用条款。

Elastic、Elasticsearch、ESRE、Elasticsearch Relevance Engine 和相关标志是 Elasticsearch N.V. 在美国和其他国家/地区的商标、徽标或注册商标。所有其他公司和产品名称均为其各自所有者的商标、徽标或注册商标。

原文：Elastic accelerates SIEM data onboarding with Automatic Import powered by Search AI | Elastic Blog