《Splunk智能运维实战》——第2章 深入数据——搜索和报表 2.1 简介

本节书摘来自华章计算机《Splunk智能运维实战》一书中的第2章,第2.1节,作者 [美]乔史·戴昆(Josh Diakun),保罗R.约翰逊(Paul R. Johnson),德莱克·默克(Derek Mock),译 宫鑫,康宁,刘法宗 ,更多章节内容可以访问云栖社区“华章计算机”公众号查看。

第2章

深入数据——搜索和报表

2.1 简介

之前的章节介绍了将数据导入Splunk的各种方法。本章将深入数据内部,充分挖掘信息。

搜索机器数据是Splunk的核心功能之一,因此Splunk的许多其他特性和功能都是围绕搜索展开的。从基本的报表和仪表盘,再到数据模型和功能完备的Splunk应用程序,这些都是由Splunk搜索在后台提供支持。

搜索处理语言(SPL)

Splunk有自己的搜索语言,即 “搜索处理语言”(SPL)。SPL包括上百条搜索命令,其中大部分包含有多种函数、参数和子句。尽管我们需要对SPL作基本了解以便更有效地在Splunk中搜索数据,但无需了解所有的命令。即便是经验丰富的行家里手也无法掌握所有的命令,经常需要参考Splunk手册、网站和Splunk Answers(http://answers.splunk.com)。

要想使用SPL,一定要查看搜索命令速查表并下载快速参考指南,下载地址为: http://docs.splunk.com/Documentation/Splunk/latest/ SearchReference/SearchCheatsheet。

搜索

Splunk的搜索一般以基本搜索开头,随后是一系列命令,命令之间由管道符号 (|)分隔。管道左侧的命令或搜索的结果作为管道右侧下一命令的输入。Splunk搜索中常用多个管道来不断精炼所需的数据结果。当我们学完这章以后会非常熟悉这个概念。
screenshot

Splunk允许日志数据中任何要素的搜索。举例来说,Splunk最基本的搜索是搜索关键词,如error或一个IP地址,如10.10.12.150。然而用Splunk在兆字节级别的数据中搜索一个单词或一个IP地址效率可能不会太高。因此可使用SPL和多种Splunk命令来提炼搜索。搜索越精细,搜索的执行时间就越少,就能越快找到所需数据。

使用Splunk进行搜索时,尝试在第一个管道符号前尽可能多地过滤内容,这将节省CPU和磁盘 I/O。此外,还需明智地选择时间范围。一般在测试的时候,先将搜索设定在较短的时间段,如果结果是需要的内容,再扩大时间范围。

布尔运算符

Splunk中可以用到三种类型的布尔运算符:AND、OR和NOT。区分大小写很重要,Splunk只能识别大写运算符。默认情况下AND运算符是隐含的,可以不写。

比如搜索error OR success将返回所有包含单词error或success的事件。搜索error success则返回所有同时包含error和success的事件。这个搜索的另一种写法为error AND success。在Web访问日志中搜索error OR success NOT mozilla将返回所有包含error或success的事件,但不返回包含mozilla的事件。

常用命令

Splunk包含一些搜索常用命令。下表为这些常用命令的概述。

screenshot
screenshot

时间修改器

图形用户界面(GUI)中,Splunk搜索栏右侧的时间范围选择器下拉菜单允许用户选择预设或自定义的时间范围。除使用GUI外,也可在搜索字符串中使用earliest和latest时间修饰符规定时间范围。这样使用时间修饰符会自动覆盖GUI中时间范围选择器设定的时间范围。

earliest和latest时间修饰符可接受多种时间单位,如:秒(s),分钟(m),小时(h),天(d),星期(w),月(mon),季度(q)和年(y)等。时间修饰符也可使用@符号向下取整到指定时间。

比如搜索sourcetype=access_combined earliest=-1d@d latest=-1h将搜索所有的access_combined事件,范围从一天前的午夜到距现在一小时之前。注意:(@)向下取整意味着,如果现在是夜晚12点,搜索会从一天半前的午夜开始算,一直到今天中午11点。

搜索字段

Splunk中的字段可以被认为是有着一个或多个值的关键词。这些字段都可以被Splunk搜索。进入Splunk的每个数据源至少包括源、主机、索引和源类型这四个字段,一些数据源会有数百个附加字段。如原始日志数据包含有键值对或以JSON或XML结构化格式呈现,Splunk将自动提取字段并使其可供搜索。Splunk也可通过后台的props.conf和transforms.conf配置文件来设定如何从原始日志数据提取字段。

搜索特定字段值很简单。比如sourcetype=access_combined status!=200将搜索含有源类型字段值为access_combined,且status字段值不等于200的事件。

Splunk包含多种预置的源类型,它们适用于常见的数据源。具体可查看:http://docs.splunk.com/Documentation/Splunk/latest/Data/ Listofpretrainedsourcetypes。

此外,技术附加组件(TA)包含有其他常见数据源的事件类型和字段提取,可从Splunk app store找到:http://apps.splunk.com

保存搜索

在Splunk中,可保存搜索供日后再次使用,或用于仪表盘。保存的搜索被称为报表。单击主搜索栏右上角的“保存为”并选择“报表”即可保存。

screenshot

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Splunk是一种高扩充性且通用的数据引擎。它可以帮助企业收集、编入索引并智能化地分析由网络、应用程序以及移动设备等产生的机器数据,并最终帮助企业决策者做出准确的判断。本书集合了各种实用方法,目的是给读者提供指导和实用知识,以便读者掌握Splunk Enterprise 6的各种功能,从数据中提取出强大而有价值的运维智能。 《Splunk智能运维实战》共10,第1介绍将数据导入Splunk的基本方法;第2介绍使用Splunk搜索数据的基本方法;第3介绍如何创建仪表盘和数据的可视化图表;第4介绍如何创建并修改Splunk应用程序;第5介绍如何使用Splunk数据模型和透视功能;第6介绍Splunk中的一些高级搜索命令,将学习如何创建事务、编写次级搜索、理解并发性、利用字段关联等;第7介绍如何增加和丰富Splunk中的数据,详细讲解Splunk查找和工作流程功能的使用;第8介绍Splunk的警报功能;第9介绍Splunk中的更多数据汇总方法:汇总索引和报表加速;第10介绍如何自定义Splunk应用程序并使用Splunk SDK和API的高级特性来处理Splunk内的数据。 目录 译者序 前言 第1 游戏时间——导入数据 1 1.1 简介 1 1.2 索引文件和目录 2 1.3 从网络端口获取数据 7 1.4 使用脚本输入 10 1.5 使用模块输入 12 1.6 使用通用转发器收集数据 16 1.7 为本书加载样本数据 19 1.8 定义字段提取内容 22 1.9 定义事件类型和标签 24 1.10 小结 26 第2 深入数据——搜索报表 27 2.1 简介 27 2.2 使原始事件数据具备可读性 30 2.3 找出最常访问的网页 32 2.4 找出最常使用的Web浏览器 34 2.5 找出浏览量来源最多的网站 37 2.6 制作网页响应代码的图表 38 2.7 显示网页响应时间的统计数据 40 2.8 列出浏览次数最多的产品 43 2.9 制作应用程序使用性能的图表 45 2.10 制作应用程序内存使用情况的图表 47 2.11 计算数据库连接的总数 48 2.12 小结 50 第3 仪表盘和可视化——让数据闪光 51 3.1 简介 51 3.2 创建智能运维仪表盘 53 3.3 使用饼图展示最常访问的网页 55 3.4 显示唯一访客数量 59 3.5 使用计量器显示错误的数量 63 3.6 制作每一主机不同请求方法数量的图表 66 3.7 制作请求方法、浏览量和响应时间的时间图 67 3.8 使用散点图根据大小和响应时间标识离散的请求 70 3.9 制作面积图显示应用程序的性能统计数据 73 3.10 使用条形图按类别显示平均花销 75 3.11 制作折线图显示项目浏览量和购买量随时间的变化 77 3.12 小结 78 第4 创建智能运维应用程序 80 4.1 简介 80 4.2 创建智能运维应用程序 81 4.3 添加仪表盘和报表 84 4.4 更高效地组织仪表盘 89 4.5 动态钻取活动报表 92 4.6 创建表单搜索Web活动 97 4.7 将网页活动报表链接至表单 101 4.8 显示访客地理分布图 105 4.9 计划仪表盘的PDF交付 109 4.10 小结 112 第5 智能拓展——数据模型和透视 113 5.1?简介 113 5.2?为Web访问日志创建数据模型 115 5.3?为应用程序日志创建数据模型 121 5.4 加速数据模型 126 5.5 透视总交易量 129 5.6 根据地理位置透视购买量 134 5.7 透视响应最慢的网页 139 5.8 用透视图显示最多的错误代码 144 5.9 小结 145 第6 深入挖掘——高级搜索 146 6.1 简介 146 6.2 计算网站平均会话时间 147 6.3 计算多层Web请求的平均执行时间 152 6.4 显示最大并发结账 157 6.5 分析Web请求之间的关系 161 6.6 预测网站流量大小 164 6.7 寻找数量反常的Web请求 168 6.8 识别潜在的会话欺骗 172 6.9 小结 175 第7 丰富数据——查找和工作流程 176 7.1 简介 176 7.2 查询产品编码描述 177 7.3 标记可疑IP地址 183 7.4 创建会话状态表 187 7.5 在IP地址中添加主机名 190 7.6 为给定的IP地址搜索ARIN 192 7.7 为给定错误触发谷歌搜索 196 7.8 为应用程序错误创建凭证 200 7.9 从外部数据库查询库存 204 7.10 小结 211 第8 抢先一步——创建警报 212 8.1 简介 212 8.2 警告异常网页响应时间 214 8.3 警告实时结账过程中的错误 218 8.4 警告异常用户行为 225 8.5 警告失败并触发脚本响应 229 8.6 警告预计销售量超出库存量 232 8.7 小结 238 第9 加速智能数据汇总 239 9.1 简介 239 9.2 计算每小时会话及完成交易的数量 241 9.3 按城市回填购买数量 247 9.4 按时间顺序显示并发会话最大数量 254 9.5 小结 259 第10 更进一步——自定义、Web框架、REST API和SDK 260 10.1 简介 260 10.2 自定义应用程序的导航 261 10.3 添加网络点击量的力导向图 265 10.4 添加产品购买量的日历热图 273 10.5 远程查询Splunk的REST API以获取唯一页面浏览量 278 10.6 创建Python应用程序返回唯一IP地址 280 10.7 创建自定义搜索命令来格式化产品名称 284 10.8 小结 288

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值