《Splunk智能运维实战》——1.5 使用模块输入

本节书摘来自华章计算机《Splunk智能运维实战》一书中的第1章,第1.5节,作者 [美]乔史·戴昆(Josh Diakun),保罗R.约翰逊(Paul R. Johnson),德莱克·默克(Derek Mock),译 宫鑫,康宁,刘法宗 ,更多章节内容可以访问云栖社区“华章计算机”公众号查看。

1.5 使用模块输入

从Splunk 5.0以后,可以扩展已有的数据输入功能,比如创建并分享自定义输入类型,而且仍可进行小的定制。

模块输入建立在脚本输入模型之上。用户需要的任何附加功能都必须包含在脚本中。但这就会出现一个问题,因为Splunk本身无法自定义这个脚本。比如,当我们想从一个源为两个不同的用户名获取数据时,可能需要两份脚本,或者需要在脚本输入配置中改变命令行参数。

利用模块输入功能,开发者现在可以将代码封装到可复用的应用程序中,这样它在Splunk中能显示各种参数,并允许Splunk管理员通过熟悉的方式来进行配置。

本节将介绍如何安装命令模块输入,它可以周期性执行命令并索引该命令输出的数据。我们将对输入进行配置,来收集Linux中的vmstat命令或Windows中的systeminfo命令输出的数据。

做好准备

要进行本节的操作,仅需运行Splunk服务器并连接网络。

如何操作

按照下列步骤配置模块输入:

1 . 登录Splunk服务器。

2 . 从主页面左上角的“应用程序”菜单点击“查找更多应用程序”。
screenshot

3 . 在搜索字段中,输入command modular input并单击搜索图标。
screenshot

4 . 在搜索结果中单击“命令模块输入”的“免费安装”按钮。
screenshot

5 . 输入Splunk.com的证书并单击“登录”。Splunk将显示信息,提示应用程序安装成功。
screenshot

6 . 从右上角的主启动器单击“设定”菜单,并点击“数据输入”链接。
screenshot

7 . 在“数据输入”页面,点击“类型”下的“命令”链接。
screenshot

8 . 点击“新建”。

9 . 在“模块输入名称”字段,输入SystemInfo。

如使用Linux系统,在“命令名称”字段输入/usr/bin/vmstat。

如使用Windows系统,在“命令名称”字段输入C:WindowsSystem32systeminfo.exe。
screenshot

如果要执行的命令无法从系统路径找到,需要使用完整路径。

10 . 在“命令参数”字段中,输入的任何参数都会被传到“命令名称”字段列出的命令中。在“命令执行间隔”字段,以秒为单位输入值,设定命令执行的频率(在这一例子中,设定为60秒)。如以流的方式输出,直接勾选“流输出”字段。
screenshot

11 . 在“源类型”部分,可选择预定义的源类型,也可选择“手动”并输入需要的值。出于本节的需要,在源类型选择“手动”,并输入cp01_modular_input作为源类型的值。

12 . 点击“保存”。Splunk现已配置好,可以按照设定的间隔每隔60秒来执行提供的模块输入。输入下列命令搜索“全部时间”的脚本输入返回的数据:
screenshot

工作原理

模块输入被捆绑为Splunk的应用程序,安装后,它包含所有必需的配置和编码,在Splunk的“数据输入”部分能看到。本节中,安装了一个可周期性执行命令的模块输入应用程序。为其配置命令,使其每分钟执行并索引每次命令的结果,指定结果的源类型为cp01_modular_input。

模块输入可以用多种语言编写。它需要遵循一套界面,显示配置选项和运行时行为。根据输入的设定,它们可以持续运行也可以间隔运行,并在接收数据后发送数据到Splunk。

可从Splunk Apps网站(http://apps.splunk.com)找到其他模块输入,包括REST API、SNMP和 PowerShell。

更多内容

要了解如何创建属于自己的模块输入,参考《Developing Views and Apps for Splunk Web》手册中的Modular Inputs部分,网址为http://docs.splunk.com/ Documentation/Splunk/latest/AdvancedDev。

另参见

screenshot
screenshot

Splunk是一种高扩充性且通用的数据引擎。它可以帮助企业收集、编入索引并智能化地分析由网络、应用程序以及移动设备等产生的机器数据,并最终帮助企业决策者做出准确的判断。本书集合了各种实用方法,目的是给读者提供指导和实用知识,以便读者掌握Splunk Enterprise 6的各种功能,从数据中提取出强大而有价值的运维智能。 《Splunk智能运维实战》共10章,第1章介绍将数据导入Splunk的基本方法;第2章介绍使用Splunk搜索数据的基本方法;第3章介绍如何创建仪表盘和数据的可视化图表;第4章介绍如何创建并修改Splunk应用程序;第5章介绍如何使用Splunk的数据模型和透视功能;第6章介绍Splunk中的一些高级搜索命令,将学习如何创建事务、编写次级搜索、理解并发性、利用字段关联等;第7章介绍如何增加和丰富Splunk中的数据,详细讲解Splunk查找和工作流程功能的使用;第8章介绍Splunk的警报功能;第9章介绍Splunk中的更多数据汇总方法:汇总索引和报表加速;第10章介绍如何自定义Splunk应用程序并使用Splunk SDK和API的高级特性来处理Splunk内的数据。 目录 译者序 前言 第1章 游戏时间——导入数据 1 1.1 简介 1 1.2 索引文件和目录 2 1.3 从网络端口获取数据 7 1.4 使用脚本输入 10 1.5 使用模块输入 12 1.6 使用通用转发器收集数据 16 1.7 为本书加载样本数据 19 1.8 定义字段提取内容 22 1.9 定义事件类型和标签 24 1.10 小结 26 第2章 深入数据——搜索和报表 27 2.1 简介 27 2.2 使原始事件数据具备可读性 30 2.3 找出最常访问的网页 32 2.4 找出最常使用的Web浏览器 34 2.5 找出浏览量来源最多的网站 37 2.6 制作网页响应代码的图表 38 2.7 显示网页响应时间的统计数据 40 2.8 列出浏览次数最多的产品 43 2.9 制作应用程序使用性能的图表 45 2.10 制作应用程序内存使用情况的图表 47 2.11 计算数据库连接的总数 48 2.12 小结 50 第3章 仪表盘和可视化——让数据闪光 51 3.1 简介 51 3.2 创建智能运维仪表盘 53 3.3 使用饼图展示最常访问的网页 55 3.4 显示唯一访客数量 59 3.5 使用计量器显示错误的数量 63 3.6 制作每一主机不同请求方法数量的图表 66 3.7 制作请求方法、浏览量和响应时间的时间图 67 3.8 使用散点图根据大小和响应时间标识离散的请求 70 3.9 制作面积图显示应用程序的性能统计数据 73 3.10 使用条形图按类别显示平均花销 75 3.11 制作折线图显示项目浏览量和购买量随时间的变化 77 3.12 小结 78 第4章 创建智能运维应用程序 80 4.1 简介 80 4.2 创建智能运维应用程序 81 4.3 添加仪表盘和报表 84 4.4 更高效地组织仪表盘 89 4.5 动态钻取活动报表 92 4.6 创建表单搜索Web活动 97 4.7 将网页活动报表链接至表单 101 4.8 显示访客地理分布图 105 4.9 计划仪表盘的PDF交付 109 4.10 小结 112 第5章 智能拓展——数据模型和透视 113 5.1?简介 113 5.2?为Web访问日志创建数据模型 115 5.3?为应用程序日志创建数据模型 121 5.4 加速数据模型 126 5.5 透视总交易量 129 5.6 根据地理位置透视购买量 134 5.7 透视响应最慢的网页 139 5.8 用透视图显示最多的错误代码 144 5.9 小结 145 第6章 深入挖掘——高级搜索 146 6.1 简介 146 6.2 计算网站平均会话时间 147 6.3 计算多层Web请求的平均执行时间 152 6.4 显示最大并发结账 157 6.5 分析Web请求之间的关系 161 6.6 预测网站流量大小 164 6.7 寻找数量反常的Web请求 168 6.8 识别潜在的会话欺骗 172 6.9 小结 175 第7章 丰富数据——查找和工作流程 176 7.1 简介 176 7.2 查询产品编码描述 177 7.3 标记可疑IP地址 183 7.4 创建会话状态表 187 7.5 在IP地址中添加主机名 190 7.6 为给定的IP地址搜索ARIN 192 7.7 为给定错误触发谷歌搜索 196 7.8 为应用程序错误创建凭证 200 7.9 从外部数据库查询库存 204 7.10 小结 211 第8章 抢先一步——创建警报 212 8.1 简介 212 8.2 警告异常网页响应时间 214 8.3 警告实时结账过程中的错误 218 8.4 警告异常用户行为 225 8.5 警告失败并触发脚本响应 229 8.6 警告预计销售量超出库存量 232 8.7 小结 238 第9章 加速智能数据汇总 239 9.1 简介 239 9.2 计算每小时会话及完成交易的数量 241 9.3 按城市回填购买数量 247 9.4 按时间顺序显示并发会话最大数量 254 9.5 小结 259 第10章 更进一步——自定义、Web框架、REST API和SDK 260 10.1 简介 260 10.2 自定义应用程序的导航 261 10.3 添加网络点击量的力导向图 265 10.4 添加产品购买量的日历热图 273 10.5 远程查询Splunk的REST API以获取唯一页面浏览量 278 10.6 创建Python应用程序返回唯一IP地址 280 10.7 创建自定义搜索命令来格式化产品名称 284 10.8 小结 288
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值