Splunk自定义命令开发

最新推荐文章于 2024-07-17 18:34:44 发布
最新推荐文章于 2024-07-17 18:34:44 发布
阅读量1.3k 收藏 6
点赞数 3
分类专栏： Splunk
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/MrRight17/article/details/113686345
版权
本文详细介绍了如何在Splunk中开发自定义搜索命令，包括使用Python语言、内置Python环境的位置与使用、SDK下载及存放位置，以及开发过程中的注意事项和格式要求。通过一个名为testcmd的示例，展示了自定义命令的工作原理和代码实现，同时指导了配置文件的修改和命令的使用。
摘要由CSDN通过智能技术生成

目录

简介

自定义命令如何运作的？

使用什么语言开发自定义命令？

内置Python所在位置

如何在后台使用内置Python

内置Python版本

内置Python使用的包和库所在位置

是否有现成的SDK等？

SDK下载

SDK存放位置

开发的过程中有什么主意事项？

有什么格式要求？

如何获取到系统中的数据？

如何将脚本处理好的数据返回给系统？

开发好的自定义命令脚本放在什么地方？

给多个APP使用

给自己的APP使用

是否需要做什么配置让Splunk知道开发了自定义命令？

给多个APP使用

给自己的APP使用

流程总结

其他

简介

一般来说Splunk有内置的命令，但有些时候内置的命令无法完成一些特殊操作。

比如，在处理数据的时候需要对接其他系统，或者，处理数据时需要使用递归的方式处理数据等。

而此时自己定制一个符合当前需求的命令来扩展内置命令的功能就再好不过了。

既然是开发自定义命令，首先必然会有多个疑问：

  • 自定义命令如何运作的？
  • 使用什么语言开发自定义命令？
  • 是否有现成的SDK等？
  • 开发的过程中有什么主意事项？
    • 有什么格式要求？
    • 如何获取到系统中的数据？
    • 如何将脚本处理好的数据返回给系统？
  • 开发好的自定义命令脚本放在什么地方？
  • 是否需要做什么配置让Splunk知道开发了自定义命令？

自定义命令如何运作的？

现在假设有如下SPL搜索语句，其中含自定义搜索命令testcmd，该命令接收两个关键参数userinfo和groupinfo，但该脚本不做任何事情，只是接收数据而后原封不动的将数据返回给Splunk：

index=main
| table user, group 
| testcmd userinfo=user groupinfo=group 
| rename user as “用户”, group as “组”

其中table和rename是splunk内置命令。

SPL为Splunk搜索处理语言。

该语句运行原理如下图所示：

index=main

对应图中的最左侧放大镜图标，意为从main索引中获取搜索数据。

| table user, group 

“|”为管道符，用于接收前面的数据并作为后面的命令的输入数据。

table为一个内置SPL命令。

| testcmd userinfo=user groupinfo=group

testcmd就是自定义搜索命令。

此处的自定义搜索命令由一个外置的python脚本实现。

当代码运行至此，Splunk会调用内置python环境运行该脚本，并将相关参数和数据传递给它，脚本执行完毕后将处理好的数据再返回，等待系统下一步操作。

| rename user as “用户”, group as “组”

而此时下一步操作是将脚本处理好的数据再次传递给新的SPL命令，继续处理。

rename也是一个内置SPL命令。

使用什么语言开发自定义命令？

根据上面的自定义命令运行原理图不难看出，自定义命令是由外置脚本实现其主要功能的。

至于外置脚本使用什么语言来开发，我推荐使用Python，别问那么多为什么，本人没研究过其他的。

Splunk内置了Python的环境，所以需要注意的地方是有：

  • 内置Python所在位置
  • 如何在后台使用内置Python
  • 内置Python版本
  • 内置Python使用的包和库所在位置

内置Python所在位置

$SPLUNK_HOME/bin/python

$SPLUNK_HOME是Splunk安装目录的环境变量。

如何在后台使用内置Python

$SPLUNK_HOME/bin/splunk cmd python xxx.py

此处需要注意，这和Python正常使用方式有所不同。

xxx.py代表自己写的Python脚本，但不是自定义命令脚本（自定义命令脚本有特别的格式）。

这种方式主要用于测试一些其他的需要放在Splunk中运行的Python脚本，在Splunk环境正式运行时是否会出现问题。

  • 数据接入的Python脚本
  • APP内的Python脚本
  • add-on内的Python脚本
  • 其他

内置Python版本

$SPLUNK_HOME/bin/splunk cmd python --version

内置Python使用的包和库所在位置

$SPLUNK_HOME/bin/splunk cmd python -c "import sys;print(sys.path)"

是否有现成的SDK等？

一般来说开发扩展功能之类，官方都会提供SDK来简化开发。

Splunk也同样提供了SDK（Python的），放在Splunk自己的官方Github仓库里：https://github.com/splunk/splunk-sdk-python。

该SDK可以用于开发对接Splunk的独立程序，是Splunk官方REST API的封装，可简化REST API的使用。

关于REST API可以详见：https://docs.splunk.com/Documentation/Splunk/8.1.2/RESTREF/RESTprolog。

当然本文主要说明自定义命令开发，不涉及REST API详细的部分。

自定义命令开发同样需要SDK的支持。

接下来肯定会有两个疑问就是：

  • SDK去哪下载？
  • SDK下载后放在放在哪？

SDK下载

访问https://github.com/splunk/splunk-sdk-python

下载Python SDK的ZIP包

从ZIP中取出要使用的lib

SDK存放位置

因为是开发自定义命令，所以刚刚取出的splunklib文件夹将存放于Splunk服务器上。

理论上来说存放在Splunk内置Python使用的包和库所在位置都可以（没测试过其他位置）。

为了方便，会和自定义命令放在同一目录之下。其中{APP_NAME}为自己的APP名字，如果没有自己的APP，放在search默认APP的目录。

$SPLUNK_HOME/etc/apps/{APP_NAME}/bin/

存放后完整的目录为：

$SPLUNK_HOME/etc/apps/{APP_NAME}/bin/splunklib

而splunklib目录内有：

开发的过程中有什么主意事项？

要说注意事项，毕竟是在Splunk的平台玩耍，主要就是要按照Splunk平台的格式来编写代码即可。

Splunk内置命令有多个不同的类型：

  • distributable streaming
  • centralized streaming
  • transforming
  • generating
  • orchestrating
  • dataset processing

命令类型详见：https://docs.splunk.com/Documentation/Splunk/8.1.2/Search/Typesofcommands

能开发的自定义命令类型有：

  • GeneratingCommand
  • StreamingCommand
  • EventingCommand
  • ReportingCommand

自定义命令类型详见lib中源码注释：splunklib/searchcommands/__init__.py

以下依旧使用testcmd作为例子，该自定义命令为流式命令。

流式命令，我个人的理解是：

首先所有数据为一个二维表，一行便是一个记录，每列为记录的各个元素或维度。

而流式命令每次都只处理一个记录，处理完一个记录后就可以把该记录送到下一个命令那里进行处理。

而不需要等待所有记录都在一个命令那处理完后才能送到一个命令那。

类似工厂中的流水线。

此处给出testcmd的完整Python代码示例，后面将会详细讲解：

# coding: utf-8

import sys
from splunklib.searchcommands import dispatch, StreamingCommand, Configuration, Option, validators
from splunklib import six

@Configuration()
class TestCMD(StreamingCommand):

    userinfo  = Option(require=True, validate=validators.Fieldname())
    groupinfo  = Option(require=True, validate=validators.Fieldname())

    def func(self, field):
        return field

    def stream(self, records):
        for record in records:
            
            record[self.userinfo]
            record[self.groupinfo]
            
            for fieldname in self.fieldnames:
                record[fieldname] = self.func(record[fieldname])
            
            # record["hello"] = "一个叫hello的新字段"

            yield record

dispatch(TestCMD, sys.argv, sys.stdin, sys.stdout, __name__)

有什么格式要求？

在写该脚本前可以把一些固定格式的代码保存起来作为模板，以方便以后开发新的自定义命令脚本，其中包括：

# coding: utf-8

import sys
from splunklib.searchcommands import dispatch, StreamingCommand, Configuration, Option, validators
from splunklib import six

@Configuration()
class 自定义命令的Python类名(StreamingCommand):

    def stream(self, records):
        for record in records:

            yield record

dispatch(自定义命令的Python类名, sys.argv, sys.stdin, sys.stdout, __name__)

其中：

  • @Configuration()：照着写就行了
  • 自定义命令的Python类名：自己定义，不要和其他自定义命令脚本里的相同即可。
  • StreamingCommand：用以说明该自定义命令为一个流式命令。
  • def stream(self, records)：
    • stream：这个自定义命令类中必须的一个函数，用来被Splunk平台调用。
    • records：该参数是Splunk传递进来的所有数据，即，一个张二维表。
  • yield：Python语法，自行查阅。
  • dispatch：照着写就行了，注意保持和class后的自定义命令的Python类名一致即可。

如何获取到系统中的数据？

前面已经说明def stream(self, records)的用处，所以records中保存的便是系统传递过来的所有数据。

# coding: utf-8

import sys
from splunklib.searchcommands import dispatch, StreamingCommand, Configuration, Option, validators
from splunklib import six

@Configuration()
class 自定义命令的Python类名(StreamingCommand):

    # 参数的类型由validate后面的参数定义，此出为validators.Fieldname()，表示参数1是一个字段名称
    参数1 = Option(require=True, validate=validators.Fieldname())
    参数2 = Option(require=True, validate=validators.Fieldname())
    
    def stream(self, records):
        # records是所有数据，一张二维表，则record代表二维表中的一行数据
        for record in records:
            
            # 由于参数1是一个字段名称，所以可以使用record[字段名称]的方式获取到给行数据中，该字段的值
            参数1字段在该行数据中的值 = record[self.参数1]
            参数2字段在该行数据中的值 = record[self.参数2]

            # 如果需要取出该行数据中各个字段的值使用以下方式
            # 其中self.fieldnames保存了该行数据中所有字段名称
            for fieldname in self.fieldnames:
                record[fieldname]
        
            yield record

dispatch(自定义命令的Python类名, sys.argv, sys.stdin, sys.stdout, __name__)

self.参数1：self是Python语法，自行查阅。

如何将脚本处理好的数据返回给系统？

# coding: utf-8

import sys
from splunklib.searchcommands import dispatch, StreamingCommand, Configuration, Option, validators
from splunklib import six

@Configuration()
class 自定义命令的Python类名(StreamingCommand):

    # 用于接收返回数据的字段名称存储在result参数中
    result  = Option(require=True, validate=validators.Fieldname())
    
    def stream(self, records):
        for record in records:
        
            record[self.result] = "结果数据"
            # record["NewField"] = "在该行数据中插入新的字段NewField"
            
            # yield写在此处（for内）表示处理完一行数据就返回这行数据
            yield record
            # 如果需要自行定义整行数据可以使用以下格式
            # yield {"字段1": "字段1的值", "字段2": "字段2的值", "字段3": "字段3的值"}

dispatch(自定义命令的Python类名, sys.argv, sys.stdin, sys.stdout, __name__)

开发好的自定义命令脚本放在什么地方？

给多个APP使用

$SPLUNK_HOME/etc/searchscripts/

如果开发的自定义命令需要给多个APP使用，放在此处。

给自己的APP使用

$SPLUNK_HOME/etc/apps/{APP_NAME}/bin/

如果开发的自定义命令只需要给自己的APP使用，放在此处即可。

{APP_NAME}：如果没有自己的APP，使用Splunk系统默认的search代替即可。

$SPLUNK_HOME/etc/apps/search/bin/

是否需要做什么配置让Splunk知道开发了自定义命令？

需要在一个叫commands.conf的配置文件中添加三行内容，这个文件在以下位置：

  1. $SPLUNK_HOME/etc/system/local/commands.conf
  2. $SPLUNK_HOME/etc/apps/{APP_NAME}/default/commands.conf
  3. $SPLUNK_HOME/etc/apps/{APP_NAME}/local/commands.conf

如果以上位置没有该文件，按需创建新的即可。

添加的三行内容：

[自定义命令在SPL中的名字]
filename = 自定义命令Python脚本名字.py
chunked = true

例如testcmd的Python脚本文件叫test_cmd.py：

[testcmd]
filename = test_cmd.py
chunked = true

注意：修改完成之后，在浏览器中访问https://splunk服务器地址/debug/refresh，能看到一个Refresh按钮，点击之后平台配置会重新载入，自定义命令就能使用了。不需要执行重启操作。

注意：修改完成之后，需要重启Splunk平台命令如下：

$SPLUNK_HOME/bin/splunk restart

此处有个小技巧：

如果重启完了，下次需要修改Python脚本的代码，

只要不修改commands.conf和Python脚本名称，

则可以再修改完Python脚本代码后立即生效，而不需要再重启Splunk平台。

给多个APP使用

$SPLUNK_HOME/etc/system/local/commands.conf

第1个位置是Splunk系统全局的自定义命令位置。

如果开发的自定义命令需要给多个APP使用，可以修改该文件。

脚本也要放在对应的$SPLUNK_HOME/etc/searchscripts/位置。

给自己的APP使用

$SPLUNK_HOME/etc/apps/{APP_NAME}/default/commands.conf

如果APP是你自己开发的。修改上述位置的文件。

$SPLUNK_HOME/etc/apps/{APP_NAME}/local/commands.conf

如果APP不是你开发的，你需要扩展该APP的自定义命令，则修改上述文件。

流程总结

  1. 先把Splunk平台搭好
  2. 去Github把lib下载下来，放在Splunk平台内置Python能Path到的路径里。
  3. 写好自定义命令Python脚本，按需放在相应位置。
  4. 按需在commands.conf中添加相应的内容。
  5. 访问https://splunk服务器地址/debug/refresh，重新载入配置，使自定义命令可用。

下面给出testcmd的完整示例：

$SPLUNK_HOME/etc/apps/search/bin/test_cmd.py内容：

# coding: utf-8

import sys
from splunklib.searchcommands import dispatch, StreamingCommand, Configuration, Option, validators
from splunklib import six

@Configuration()
class TestCMD(StreamingCommand):

    userinfo  = Option(require=True, validate=validators.Fieldname())
    groupinfo  = Option(require=True, validate=validators.Fieldname())

    def func(self, field):
        return field

    def stream(self, records):
        for record in records:
            
            record[self.userinfo]
            record[self.groupinfo]
            
            for fieldname in self.fieldnames:
                record[fieldname] = self.func(record[fieldname])
            
            # record["hello"] = "一个叫hello的新字段"

            yield record

dispatch(TestCMD, sys.argv, sys.stdin, sys.stdout, __name__)

$SPLUNK_HOME/etc/apps/search/local/commands.conf内容：

[testcmd]
filename = test_cmd.py
chunked = true

testcmd在search APP中的SPL语句：

index=main
| table user, group 
| testcmd userinfo=user groupinfo=group 
| rename user as “用户”, group as “组”

其他

由于以上只说明了流式自定义命令的开发，其他类型的自定义命令请移步：

白M
关注
专栏目录
安全运营 -- splunk 二次开发 -- 自定义搜索命令
leeezp的博客
05-28 17万+
splunk 有很多功能强大的搜索函数，当官方提供的函数无法满足需求时，就需要自己开发app，场景比如对接第三方api等。
Splunk二次开发使用Python 编写自定义搜索命令
ffjl1985的专栏
03-31 2839
前言本文的目标是让读者对Splunk编写自定义搜索命令有个基本的概念，并不是详尽的开发指南。自定义搜索命令简介Splunk Spl语言是将Splunk的一系列搜索命令组织成数据处理的管道，如下图所示，提供了140多种搜索命令，基本覆盖了日常对数据处理的各种场景。其中search命令是SPL语言的默认命令，可以不明确的写在语句中。  但是在日常使用的过程中，有很多特殊的应用场景中，我们需要根据业务逻...
Splunk对接企业微信自定义SPL命令
白M的博客
06-21 703
简介 新版8.0.3使用微信告警APP有问题，旧告警脚本功能被废除，所以做个自定义命令来使用。方便灵活。 环境 Centos7 Splunk 8.0.3 Python2.7 SDK 1.6.13 代码 # coding: utf-8 # 20200621 by # import sys import urllib3 import requests import time from splunklib.searchcommands import dispatch, StreamingCommand,
Basic Commands for splunk(基本命令)
liangkaiping0525的博客
08-17 1882
1.搜索请求的数据 Task 1: Search for the requested data. 导航到Search视图。(如果你在主应用程序中，从屏幕左侧的列中单击Search & Reporting。你也可以通过点击屏幕顶部栏上的搜索菜单选项来访问搜索视图。) Navigate to the Search view. (If you are in the Home app, cl...
Splunk Basic Commands with Solutions（基本命令解决方案）
liangkaiping0525的博客
08-17 229
Task 1: Search for the requested data. 搜索请求的数据。                
Splunk 结构及常用命令
右后方，天才的博客
05-06 1664
splunk 基本安装 设置用户及密码 spluk/Splunk123$ 启动splunk /app/splunk/splunkforwarder/bin/splunk start 添加forward /app/splunk/splunkforwarder/bin/splunk add forward-server 10.164.2.84:9997 添加deploy /app/splunk...
splunk编写自定义命令
最新发布
Jepson的博客
07-17 734
编写splunk自定义命令
Splunk-官方操作指引文档中文版
03-03
1. **Splunk-6.5.0-zh_CN-Search.pdf**：这是关于搜索功能的详细指南，涵盖了基本和高级搜索语法，如何使用搜索命令进行数据过滤、聚合和分析，以及如何创建自定义搜索解析器以解析特定格式的日志数据。此外，还包括...
splunk-rest-examples
05-18
它们补充了Splunk提供的用于外部流程执行的其他机制，包括：模块化输入，CherryPy控制器和自定义搜索命令。 介面 Splunk提供了多个接口，可以扩展这些接口以用于自定义REST API开发。 从rest.BaseRestHandle
splunklib.tar.gz
08-31
splunk python sdk ，centos中将此包放到 /usr/lib64/python2.7/下即可使用
pip install splunklib报错：INCLUDE environment variable is empty
Dr.叶子的博客
11-28 342
目录前言1. 问题描述2. 解决方法后语 前言 你好，我是Dr.叶子，用心写最优美的博客，弹最好听的钢琴！   1. 问题描述 pip install splunklib 时报错： error: INCLUDE environment variable is empty ERROR: Command errored out with exit status 1: 如图：   2. 解决方法 下载安装 VCForPython27.msi 重新安装 pip install s
Splunk创建脚本输入
weixin_34417635的博客
12-31 213
1、cd /opt/splunk/etc/system/bincd /opt/splunk/bin/scripts/(默认目录)vi 4444.sh#!/bin/sh/usr/bin/vmstatchmod +x ./4444.sh2. vi /opt/splunk/etc/system/local/inputs.conf增加如下内容：[script:///opt/splun...
Splunk create app
QYHuiiQ
06-20 419
参考文档：https://dev.splunk.com/enterprise/docs/developapps/createapps/https://dev.splunk.com/enterprise/docs/developapps/createapps/addnavsplunkapp/youtube video：https://www.youtube.com/watch?v=EaRpID7FuhMhttps://www.youtube.com/watch?v=oFzfuVJSho0Splunk自带的给我
Splunk-SDK-Python学习
韦人人韦
09-16 5610
Splunk 最近在公司实习用到了splunk,需要调用splunk sdk进行一些简单的开发，目前把我这个星期的一些体会记录下。 什么是splunk 简单来说，Splunk是一个托管的日志文件管理工具，它的主要功能包括： · 日志聚合功能 · 搜索功能 · 提取意义 · 对结果进行分组，联合，拆分和格式化 · 可视化功能 · 电子邮件提醒功能 而目前我通过splunk s
splunk pyhton数据接口
Jepson的博客
05-02 2438
本文实现利用python splunklib接口获取splunk数据 适用环境：python2 1.通过接口，执行查询语句，并将获取到的查询结过存在字典中 import splunklib.client as client import splunklib.results as results #定义连接信息 HOST="localhost"#splunk服
探索 Splunk SDK for Python：高效日志管理和数据分析工具
gitblog_00055的博客
04-14 739
探索 Splunk SDK for Python：高效日志管理和数据分析工具 splunk-sdk-pythonSplunk Software Development Kit for Python项目地址:https://gitcode.com/gh_mirrors/sp/splunk-sdk-python 则是 Splunk 提供的官方 Python 开发工具包，旨在帮助开发者更便捷地与 Sp...
Splunk 中的数据连接器和适配器
程序员光剑
12-16 298
1.背景介绍 Splunk 是一种强大的数据分析和可视化工具，可以帮助用户收集、存储、搜索和分析大量结构化和非结构化数据。Splunk 可以与各种数据源进行集成，以实现更广泛的数据分析和可视化功能。在 Splunk 中，数据连接器和适配器是实现数据集成的关键组件。本文将深入探讨 Splunk 中的数据连接器和适配器，涵盖其核心概念、算法原理、具体操作步骤、数学模型公式、代码实例以及未来发展趋势和...
安全运营 -- splunk api接口调用
热门推荐
leeezp的博客
06-24 16万+
有些重复性的查询，人工查询耗时，于是想到用脚本自动化填充查询参数，并且通过python调用splunk api。
Splunk通过snmp接入Linux性能数据
Swime的博客
08-04 399
snmp-modular-input是Splunk提供的一个通过snmp方式接入数据的APP。本文档介绍使用该APP接入Linux服务器性能数据的方法，当用户不接受在服务器端安装Agent采集数据时可以考虑采用该方式。 一、上传APP 二、接入数据 1、打开“数据接入” 2、发现多了一个“SNMP”的接入类型，点击进去 3、新建输入 三、验证，搜素index=snmp确认是否成功采集到数据 附采集CentOS 7的性能指标使用的MIB和OID，不同.
精通Splunk应用开发：第二版指南
然而，仅仅了解基础的Splunk平台操作并不足以开发自定义应用。本书将带你深入了解构建完整Splunk应用的全过程，从设计概念到实现，再到发布。 在书中，作者首先讲解了构建Splunk应用的基础，包括处理应用数据、定义...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值