Splunk组件和架构详解

最新推荐文章于 2024-06-10 16:35:59 发布

链巨人

最新推荐文章于 2024-06-10 16:35:59 发布

阅读量1.1w

点赞数 1

分类专栏：架构文章标签：架构 splunk log

本文链接：https://blog.csdn.net/liangyihuai/article/details/60143110

版权

架构专栏收录该内容

14 篇文章

订阅专栏

本文主要讲解的是Splunk组件和架构！

Splunk主要解决的问题：统一管理分布在不同机器上的数据（比如日志数据）。如下图所示：
这里写图片描述

这里写图片描述

Splunk是一个功能完备的企业级产品，提供了命令行窗口，web图形界面接口和其他接口，查询结果展示，数据查询，权限控制，分布式管理服务，数据索引，网络端口监听，数据警报，文件监听等等。

Forwarder

Splunk提供了Forwarder组件，它的作用是把不同机器上面的数据，比如log，转发给indexer。forwarder可以运行在不同的操作系统上面。

forwarder支持:

元数据标签（资源，资源类型和主机）
可以设置缓存
可以压缩数据
支持SSL安全协议传输数据
可以使用任何有效的网络端口。

Splunk提供了三种forwarder，分别是universal forwarder、heavy forwarder和light forwarder。universal forwarder相对于其他两种最重要的优点是：它能够极大地减少对主机硬件资源的占用。但是，它也做出了一定的牺牲，比如不支持查询和建立数据索引。它们具体的官方解释请见：universal forwarder、heavy、light

30 admin13 forwardreceive-dataforward 60.png

Indexer

Indexer，顾名思义，它跟索引有关，实际上他不仅仅负责为数据建立索引，还负责响应查找索引数据的用户请求，还有读取数据和负责查找管理工作。虽然indexer可以在查找它本身的数据，但是，在多indexer的集群中，可以通过叫“search head”的组件来整合多个indexer，对外提供统一的查询管理和服务。如下图所示。search head的作用就是根据用户的查询请求查询各个indexers中的数据，融合indexers所返回的结果，统一显示给用户，它只负责查询，不负责建立索引。

从整体上来看Splunk架构，结合下面两张图片，总体上分为两个部分，分别是数据发送、数据收集并索引。原始数据一开始一般是由不同机器产生，通过不同的组件向indexer发送这些原始数据，这些组件有splunk forwarders、syslog、WMI等等，数据发给indexer之后，indexer就会为数据建立索引，建立索引的目的是加快查询速度。这样之后，用户就可以通过统一的窗口操作数据了，比如查询。

Splunk初体验——像Google那样搜索你的数据

如果我们系统平台比较大，产生的数据量比较大，那么我们可以不断扩展我们的splunk集群，splunk具备这种扩展能力。用户可以部署任意多个forwarder，用来转发刚刚产生的原始数据。Indexer也可以部署成为一个集群，统一下层提供接收原始数据、建立索引的服务，对上层提供搜索的服务。用户还可以部署多台用于搜索的Search Header。所以，用户可以根据自己平台的实际工作量来部署自己的splunck集群大小。