Splunk Stream是什么
Splunk Stream是Splunk官方提供的免费App,可以捕获,过滤,索引和分析网络事件数据流,内置了大量的数据分析和可视化功能,并且能够创建新的数据流分析和可视化界面。
是Splunk Enterprise Security和Splunk User Behavior Analisis的基础,提供数据。
Stream"流"是由特定网络协议和一组字段定义的事件分组。 当与日志,指标和其他信息相结合时,可以通过Splunk Stream捕获的流,洞察网络基础架构中的活动和可疑行为。
支持NetFlow v5, v9, jFlow, sFlow, 和 IPFIX。
使用Splunk Stream:
- 被动地捕获网络事件数据的实况流。
- 捕获多个网络协议的元数据和完整数据包流。
- 收集NetFlow协议数据。
- 应用聚合方法对事件数据进行统计分析。
- 应用过滤器来最小化索引器要求。
- 从字符串中提取内容并生成散列。
- 从网络流量中提取文件。
- 在预建的仪表板中监控网络趋势和应用程序性能。
- 部署独立的Stream转发器来捕获远程linux机器上的数据。
- 不需要标签或仪器仪表即可迅速而不引人注意。
Splunk Stream 包含的组件
-
splunk_app_stream
提供streamfwd的配置管理。 还提供流转发器管理工具,捕获数据的过滤,预定义流和仪表板,用于分析网络事件和流数据。
-
Splunk_TA_stream
提供数据抓取和转发功能。 Splunk_TA_stream包括Stream转发器(streamfwd)。 streamfwd是Splunk_TA_stream的核心组件,并提供被动捕获的网络数据。
-
独立的Stream转发器
Splunk Stream一个独立的Stream转发器安装包(splunkstreamfwd.tgz),它不与splunk_app_stream和Splunk_TA_stream一起部署。 Splunk App for Stream生成一个curl命令,可以使用这个命令在任何兼容的Linux机器上安装独立的Stream转发器。
Splunk Stream内置的分析功能
分析总览
应用分析
流量可视化
HTTP总览
Http活动
数据库活动
DNS总览
DNS活动
SSL 活动
Splunk Stream支持哪些协议
网络数据收集架构
本地收集
本地收集架构需要在要监视的网络或网段上的每个主机上安装通用转发器和Splunk_TA_stream。 本地收集在例如用于从各个网络节点捕获数据的子网环境(例如多层网站)中是有用的。
SPAN 或 TAP 方式
从网络设备镜像流量出来到专用设备上,在专用设备上分析数据流量。
SPAN 架构的考虑点
-
捕获的数据流量是否超过了NIC(网卡)的接收能力?例如1G的NIC肯定无法处理10GB端口镜像出来的流量。
-
SPAN镜像端口是否包含了所有端口的出、入流量?如果是的话,NIC需要更大的带宽。
-
镜像设备是否生成了NAT数据(即包含了内部网络也包含了互联网的数据流量)?
-
网络数据流量有多大?根据流量的不同,可能需要进行一些性能调整,以确保系统按预期方式运行。
-
网络收集部署架构的比较
类型 | 优点 | 缺点 |
本地 |
|
|
SPAN |
|
|
TAP |
|
|
部署架构
Search Head搜索服务器
Search Head上必须要部署splunk_app_stream 和 Splunk_TA_stream 。
Indexers索引服务器
索引服务器上必须要部署Splunk_TA_stream 。
Universal forwarders通用转发器
在捕获网络数据的通用转发器上需要部署Splunk_TA_stream 。
性能情况
FAQ
- 是否可以添加自定义的协议?
不可以
- 是否可以添加自定义的协议?
不可以。
- 能否将数据按照协议发送到指定的索引中?
不行。现在Splunk Stream不支持。但是可以使用props.conf 和 transforms.conf来配置。详细的方法参见 Route specific events to a different index.
- 是否可以配置终端监听某一个协议?Can I configure endpoints to listen for specific protocols?
可以。可以配置Stream过滤器监听某一个协议的流量。例如,可以使用source_ip(网络流中的常见字段)在DNS服务器上过滤DNS流量。不支持按照主机名过滤。
警告:此配置是高度自定义的配置,需要非常小心和熟悉如何配置。
-
Stream可以读取PCAP文件吗?
可以。使用Stream的streamfwd命令可以读取PCAP文件,并将结构化的数据发送到索引中。
./streamfwd -r foo.pcap -s <host><server>.
参见 Stream command line options.
- Stream可以解密数据包和应用数据吗?
可以。可以使用SSL私钥解密 streamfwd 捕获的数据,前提是使用RSA加密算法。
- Stream可以解密Diffie-Hellman(SSL key) 流量吗?
不可以。没有办法捕获Diffie-Hellman流量, 无论streamfwd 使用 TAP还是本地模式.
商业转载请联系作者获得授权,非商业转载请注明出处。