Splunk 体系介绍_splunk是干什么的-CSDN博客

本文链接：https://blog.csdn.net/ffjl1985/article/details/78479809

Splunk总体介绍

Splunk是什么

Splunk是一个分析计算机系统产生的机器数据，并在广泛的场景中提供数据收集、分析、可视化分布式的数据计算平台。

Splunk 是一个数据引擎。
针对所有IT系统和基础设施数据，提供数据搜索、报表和可视化展现。
Splunk是软件 – 5分钟就可以下载和安装。
可以运行在各种主流的操作系统平台。

Splunk做什么

Splunk如何做

应用场景

日志管理

为机器数据建立索引

建立索引并存储任意机器数据,无论格式或位置-网络和端点安全日志、恶意软件分析信息、配置、传感器数据、网络上的在线数据、更改事件、API 数据和消息队列,甚至自定义应用程序中的多行日志。不需要预定义方案,几乎可对任何来源、格式或位置的数据建立索引。

搜索、关联、调查

具有专利的Splunk 搜索处理语言 (SPL™) ，直观且功能强大。自动将您的各类数据格式，提供 140 多种命令,可以统计搜索、计算指标、甚至在滚动时间窗内查找特定条件。放大和缩小的时间线以自动揭示趋势、峰值和蕴含的模式，并且可以以钻取深入细节。

钻取分析

通过使用即时搜索和时间线控制深入分析前后的所有数据,快速显示趋势峰值和异常。只需轻点鼠标,就可利用 Splunk 的独特字段提取功能找到任何数据字段内的任何值,以跟踪事件序列和快速实现"大海捞针"。无论是否正在调查一个安全警报,分析业务中断的根源,或调查潜在数据泄露,都会在几秒钟到几分钟而不是几小时或几天内得到答案。

监控&告警

将搜索转化为实时告警,通过电子邮件或 RSS 自动触发通知,执行修复操作,向系统管理控制台发送 SNMP 陷阱或在服务台生成故障票据。告警可基于各种阈值、基于趋势的条件和其他复杂标准而触发。在出现告警时获得其他信息,协助运维人员更快进行根本原因分析并找到问题的解决方案。

报表和仪表盘

使用同一界面搜索实时和历史数据。使用熟悉的搜索命令来定义、限制或扩大搜索范围,并跨越多种数据源进行关联以发现新的现象。关联基于时间的数据、外部数据、位置、子搜索或连接跨越多种数据源。搜索帮助提供键入提示建议和上下文帮助,方便使用搜索处理语言 (SPL™) 的所有高级特性。

IT运维监控

IT运维监控视图

丰富的App和插件

Splunk提供了丰富的开箱即用的App和插件(Splunk可以看做是一个安卓生态)，从业务层到IT层全面监控。Splunk积累了1000多个不同场景的App和插件，涵盖了主流的IT软硬件厂商，能够可视化、采集数据，大部分情况下，从Splunk市场下载App即可满足多种多样的需求。

并且提供了方便的界面，能够让使用者可以自己创建新的App和插件。

安全和欺诈

安全神经中心

Splunk 整合多个 IT 领域，以启用协作并实施最佳实践，以与数据交互并调用操作，从而应对现代网络威胁挑战。鉴于 Splunk 用作神经中心，团队可以优化人员、流程和技术。安全团队可以利用数据统计、可视化、行为和探索分析，从而有助于见解、决策和运营。

安全挑战

高级威胁检测
使用任何时间段内任何数据的任何字段查找关系,继而跟踪杀伤链的各个阶段。
内部威胁
使用 Splunk,以在偷盗、滥用或损坏机密数据前检测恶意员工和其他内部威胁。
合规性
提供更高水平的自动化,并连续监测合规性和监管规定。
欺诈与盗窃行为
通过实时或历史数据搜索和生成数据透视表,以研究和检测欺诈或盗窃行为并查明滥用行为。
用户行为分析
通过利用数据科学和机器学习的解决方案,检测网络攻击和内部威胁。
适应响应倡议
由Splunk 引导的适应响应方案会连接最佳安全供应商社区,以改善网络检测战略。

高级威胁检测

杀伤链方法论

图.杀伤链方法论

网络杀伤链由攻击流程与防御概念构成。如图1所示，攻击流程分为侦察、武器化、散布、恶用、设置、命令与控制、目标达成等七个阶段3。

侦察阶段。侦察阶段是攻击者为达成目标，进行探测、识别及确定攻击对象（目标）的过程。在这个阶段，可通过网络收集企业/机关网站、报道资料、招标公告、职员的社会关系网(socialmedia networks)、学会成员目录等各种与目标相关的情报。
武器化阶段。武器化阶段是指通过侦察阶段确定目标后，准备网络武器的阶段。网络武器可由攻击者直接制造，也可利用自动化工具来制造。
散布阶段。散布阶段是指将制造完成的网络武器向目标散布的阶段。据洛克希德·马丁公司网络安全保障小组称，自2004年至2010年间，使用最为频繁的散布手段有邮件附件、网站、USB(Universal Serial Bus)等。
恶用阶段。恶用阶段是指网络武器散布到目标系统后，启动恶意代码的阶段。在大部分的情况下，往往会利用应用程序或操作系统的漏洞及缺陷。
设置阶段。设置阶段是指攻击者在目标系统设置特洛伊木马、后门等，一定期限内在目标系统营造活动环境的阶段。
命令与控制阶段。这一阶段是指攻击者建立目标系统攻击路径的阶段。在大部分情况下，智能型网络攻击并非是单纯的自动攻击，而是在攻击者的直接参与下实施的。一旦攻击路径确立后，攻击者将能够自由接近目标系统。
目标达成阶段。这一阶段是指攻击者达到预期目标的阶段。攻击目标呈现多样化，具体来讲有侦察、敏感情报收集、破坏数据的完整性4、摧毁系统等。

通过筛查与杀伤链的不同阶段关联的恶意软件分析解决方案、电子邮件和网络解决方案的日志，Splunk 软件能帮您发现遭入侵系统的指标和隐藏在您机器数据中的重要关系。

确定影响和范围

通过使用任意字段值将事件链接在一起以重新构建攻击序列来发现跨不同安全技术的相关事件，包括威胁情报、网络安全（例如电子邮件和网关）、防火墙、终端安全和终端威胁检测和响应解决方案。

端到端的可视化

Splunk 软件允许不同的安全团队协作、应对和防御高级威胁。团队可以向上、向下和在其中查看安全和 IT 技术栈，以及回顾过去来发现、分析和应对与遭入侵主机和高级威胁相关的活动。团队成员可以在任何活动或条件上快速创建实时关联搜索，这样可将情报整合回系统以进行持续监测。

内部威胁

内部威胁来自现有或以前的员工，承包商或有权访问公司网络的合作伙伴，故意或意外渗透，误用或破坏敏感数据。由于这些内部人员已经在组织内部，所以他们经常使用合法凭据和权限来访问和下载敏感资料，从而避开传统安全产品的检测。

Splunk可以帮助您以下列方式检测并击败内部威胁：

当用户操作或模式被认为是内部人员不适当地获取敏感数据或通过网络或端点进行渗透时报警。
当异常值偏离正常行为的基准时的警报，因为这些异常值可能是内部威胁
一旦明确确定内部威胁，就启动自动缓解补充其他安全技术，
为其他的安全解决方案提供补充，以对用户内部行为的全面了解，或可能被内部人员规避
通过搜索数周或数月的历史事件数据快速调查内部人员活动，以快速确定用户行为的范围，意图和严重性
通过利用数据科学和机器学习的现成的用户行为分析解决方案来检测网络攻击

合规

将其作为单一平台来自动遵循广泛的政府和工业规范、管理框架和内部要求，包括 PCI、HIPAA、FISMA、GLBA、NERC、SOX、EU Data Directive、ISO、COBIT 和 20 个关键的安全控制。 Splunk 能让客户创建关联规则和报告来确定对于敏感数据或关键雇员的威胁，并自动展示合规性或确定关于技术控制的非合规区域。

遵循 SIEM 或集中式收集／日志、持续监控和保留安全事件的要求
快速搜索过去几天、几周或几个月的大量的安全事件和机器数据以加快事件调查或满足审计师的特殊要求
创建报告和仪表板来显示遵循任何所需技术控制的状态
通过关联规则、异常检测或风险评分启用实时、已知和未知威胁检测

欺诈与盗窃

欺诈、盗窃和滥用的检测和防御是对于大数据的挑战，尤其是业务移入在线领域时。内部或外部的欺诈模式经常依赖于大量的由业务应用和系统产生的非结构化机器数据和日志文件。

Splunk^® 软件允许组织核查这种机器数据来满足广泛的反欺诈、反盗窃和反滥用的团队需要，包括：

欺诈检测 - 在欺诈发生的时候,实时关联搜索或异常检测能确定欺诈并告警,这样在达到不利影响的最低限度前,组织可以采取行动以防止欺诈
欺诈调查 - 快速搜索和透视大量的当前或历史计算机数据来研究可能的欺诈和了解可能的欺诈行为的"主体、内容、位置、何时间以及方式"
欺诈分析和报告 - 轻易进行对于广泛的内部用户的欺诈风险的分析、测量和管理
增强现有的反欺诈工具 - 对于来自独立工具的事件数据进行索引来为单个交易创建汇总的欺诈评分
创建综合的报告和仪表板来在单一虚拟管理平台上查看企业范围的欺诈风险

用户行为分析

Splunk 用户行为分析 (UBA) 是一种以机器学习为支持的解决方案，提供您需要的答案，以查找用户、端点设备和应用程序的未知威胁和异常行为。它不仅关注外部攻击，而且侧重于内部威胁。它的机器学习算法产生具有风险评级的可操作结果，并提供证据表明增强安全运营中心 (SOC) 分析师现有技术以加快行动。此外，它为安全分析师和威胁寻找员提供视觉枢纽点，以便主动调查异常行为。

Splunk 用户行为分析软件：

使用以行为为中心的专用和可配置的机器学习框架，利用无监督的算法来增强检测足迹
通过将数百个异常自动拼接为单一威胁，增强 SOC 分析师用户和实体行为分析 (UEBA) 功能
通过在攻击的多个阶段可视化威胁来提供增强的上下文
支持与 Splunk Enterprise 进行双向集成，以进行数据采集和关联，并使用 Splunk 企业安全 (ES) 进行事件范围界定、调查和自动响应

用户行为分析的主要功能

大数据基础（Hadoop、Spark 和 GraphDB）

使用大数据基础构建，Splunk UBA 可水平扩展，每天处理数十亿事件，并支持分析数十万个组织实体。

无人监督的机器学习

专门构建的无人监督的机器学习算法产生较少的误报提供广泛的覆盖并产生高度可信的结果，这有助于事件响应和寻找威胁。

多维行为基线

历史和实时数据有助于创建行为基线，例如，概率后缀树、计数多个时间序列和更多 - 这有助于识别异常值并提供组织度量的可见性。

自定义威胁生成

定制底层机器学习框架，以拼接感兴趣的异常，并通过细粒度控制来解决定制用例。

用户监控和观察列表

使用自定义小部件或即时观察列表监视用户及其活动，以便快速方便地访问。

异常抑制与评分

通过应用自定义分数确定检测到的异常的优先级，并抑制触发的异常，以获得更高的保真度威胁。

Splunk Enterprise 和 Splunk 企业安全的双向整合

与 Splunk Enterprise 无缝集成以进行数据采集，将异常和威胁实时传输到 Splunk 企业安全，通过高保真警报帮助组织获得对其安全状态的视觉洞察并自动响应。

安全仪表板

安全仪表板可在组织中找到高级别摘要可视化威胁和异常以及异常用户、设备和应用程序的统计信息。

杀伤链视图

杀伤链视图通过攻击持续时间、涉及的实体、在杀伤链的入侵阶段、扩展阶段和渗透阶段观察到的异常分类等细节，对攻击进行可视化探索。

对等组

对等组分析可视化使用行为分析计算的动态对等组视图、Active Directory 和组织结构突出显示类似的用户和异常值。

开箱即用的分析

开箱即用的分析可显示跨多个实体计算的聚合和基线的仪表板，并可显示实体级别的详细细目。

用户风险评分和监控

用户风险评分和监控监控用户并通过多个风险评分（如内部风险百分比、外部风险百分比、异常数量、威胁数量）和整体用户评分进行过滤。

异常类别

异常类别超过 45 个异常类别可以开箱即用 - 包括异常网络活动、可疑数据移动、异常活动时间等 - 每个都可以自定义得分优先级，并抑制有效的狩猎和威胁生成。所有异常均通过机器学习算法触发。

威胁类别

类别威胁超过 20 种威胁类别可以开箱即用 - 包括数据泄露、横向移动、受影响帐户、可疑行为和其他 - 可以自定义得分优先级。客户可以通过指导机器学习框架应拼接哪些异常以及如何拼接来编写自己的用例（威胁）所有威胁均通过机器学习算法触发。

集成事件可视化

集成事件可视化通过 UBA 资产和身份协会观察 ES 中的威胁行为者的活动，查看 UBA 产生的异常和威胁以及资产调查员中的其他 Swimlane 指标，参考具有额外详细信息的专用 UBA 仪表板。

数据从哪儿来

Splunk索引数据不考虑格式或位置 — 日志、点击流、传感器、网络流量、网页服务器、客户应用、管理程序、社交媒体以及云服务。由于该结构和方案仅适用于搜索时间,可以不受限制地分析数据。

数据示例

数据类型	位置	它可以告诉您什么
应用日志	本地日志文件、log4j、log4net、Weblogic、WebSphere、JBoss、.NET、PHP	用户活动、欺诈检测、应用性能
业务流程日志	业务流程管理日志	跨渠道客户活动、购买、帐户变更以及问题报表
呼叫详细信息记录	呼叫详细信息记录 (CDR)、计费数据记录、事件数据记录均由电信和网络交换机所记录。	计费、收入保证、客户保证、合作伙伴结算，营销智能
点击流数据	Web 服务器、路由器、代理服务器和广告服务器	可用性分析、数字市场营销和一般调查
配置文件	系统配置文件	如何设置基础设施、调试故障、后门攻击、"定时炸弹"病毒
数据库审计日志	数据库日志文件、审计表	如何根据时间修改数据库数据以及如何确定修改人
文件系统审计日志	敏感数据存储在共享文件系统中	监测并审计敏感数据读取权限
管理并记录 API	通过 OPSEC Log Export API (OPSEC LEA) 和其他 VMware 和 Citrix 供应商特定 API 的 Checkpoint 防火墙	管理数据和日志事件
消息队列	JMS、RabbitMQ 和 AquaLogic	调试复杂应用中的问题，并作为记录应用架构基础
操作系统度量、状态和诊断命令	通过命令行实用程序（例如 Unix 和 Linux 上的 ps 与 iostat 以及 Windows 上的性能监视器）显示的 CPU、内存利用率和状态信息	故障排除、分析趋势以发现潜在问题并调查安全事件
数据包/流量数据	tcpdump 和 tcpflow 可生成 pcap 或流量数据以及其他有用的数据包级和会话级信息	性能降级、超时、瓶颈或可疑活动可表明网络被入侵或者受到远程攻击
SCADA 数据	监视控制与数据采集 (SCADA)	识别 SCADA 基础结构中的趋势、模式和异常情况，并用于实现客户价值
传感器数据	传感器设备可以根据监测环境条件生成数据，例如气温、声音、压力、功率以及水位	水位监测、机器健康状态监测和智能家居监测
Syslog	路由器、交换机和网络设备上的 Syslog	故障排除、分析、安全审计
Web 访问日志	Web 访问日志会报告 Web 服务器处理的每个请求	Web 市场营销分析报表
Web 代理日志	Web 代理记录用户通过代理发出的每个 Web 请求	监测并调查服务条款以及数据泄露事件
Windows 事件	Windows 应用、安全和系统事件日志	使用业务关键应用、安全信息和使用模式检测问题。
线上数据	DNS 查找和记录，协议级信息，包括标头、内容以及流记录	主动监测应用性能和可用性、最终客户体验、事件调查、网络、威胁检测、监控和合规性