一、splunk入门

最新推荐文章于 2024-08-21 23:41:49 发布

飞翔荷兰号

最新推荐文章于 2024-08-21 23:41:49 发布

阅读量6.8k

点赞数 5

本文链接：https://blog.csdn.net/weixin_43374578/article/details/109271972

版权

一、简介

1. Machine Data

一般公司中，机器数据占了大概90%以上，包含如应用数据，监控数据，脚本数据等；
机器数据的数据结构各种各样；
处理数据繁琐且难度大，因此引入工具来提升数据分析效率；

2. Splunk

用来处理数据的，主要包含5个功能

2.1 Index Data

将所有数据进行处理，索引，将数据包装成一个个的event，并存储在指定的位置中；
在检索的时候，通过输入的检索条件，从指定的位置中去读取数据；

2.2 Search & Investigate

在搜索框中输入指定的条件，从而实现数据搜索功能；

2.3 Add Knowledge

对于已经存储好的event数据，可以再对event数据加上一些定制化的标签，从而方便后续数据处理；

2.4 Monitor & Alert

对于有些错误数据，可以进行设定，从而在这种数据刚刚产生的时候，就报警显示出来；

2.5 Report & Analyze

将event数据处理，变为可视化的dashboard；

二、Splunk

1. 三个主要组件

1.1 Indexer

将机器数据整理成为event，并存放在指定的，不同的目录中，按照日期进行排列；
可以将数据保存在不同的indexer中，实现提高效率，保存不同时间，开启不同的查看权限功能；

1.2 Search Head

搜索框，提供搜索语法，将搜索指令传递给 Indexer；
Indexer 检索完结果后，将目标event返回给Search Head;
Serach Head 对数据进行处理，可以以列表，图表等各种方式展现出来；

1.3 Forwarder

该应用一般安装在目标应用服务器上，起到对该应用的监控作用，从而将该应用的数据，推送给Indexer来进行处理；

2.安装

单机版和集群版；
官网安装即可：三种系统以及splunk cloud云环境；
三种角色： admin，power，user；

3. 数据录入

3.1 uploaded

通过将数据文件上传，然后对数据进行分析；
适用于数据文件不变的一些测试用例，不适合于企业用例；

3.2 monitor

监控文件，文件夹
Http Event;
端口；
script脚本；

3.3 forwarder

最常用的一种数据录入方式

三、搜索

1. 基本搜索

用时间过滤效率最高；
一次查询，10分钟有效，10分钟后就会再次运行该查询
分享的job数据，7天内有效，及其他人查看的结果和本次job第一次展示的数据相同；
zoom in 和挑选时间线，是在原有的job结果中过滤，不会再次查询；
zoom out时，是重新运行一次job；
fail * ：通配符搜索
NOT, AND ,OR 几种必须大写，通过（）进行优先级排序；
failed password 和 failed and password相同效果;

2. 高级检索

2.1 fields

selected fields: 对于搜索作者本人，至关重要的一些字段，可以高亮现实，可以改变哪些字段能成为该类型字段；
interested fields：最少20的event中都包含的字段，可以加入到selected fields中去；
一个字段可以包含多个值，并会显示每个值在所有event中所占数目及比例；
a：指的是该字段的值是string类型；
#：指的是该字段的值类型是numrical类型；
字段名称大小写敏感，字段具体的值大小写不敏感；
=，！=，>=, <= ;
in;

2.2 搜索规则

一般先指定时间，然后依次为index， source， host， sourcetype；
inclusion 比 exclusion好；

2.3 搜索语法

commond语法

# 1. pipeline： 将搜索结果通过不同的pipeline进行多次过滤  commond+\ 进行换行
#   同时可以切换search bar的窗口 
｜ content1 ｜ content2 ｜

# 2. fields 属性
#包含字段： 发生在检索之前，筛选出其中两个字段，提升了效率
index = main ｜ fields firstfield secondfield
# 排除字段： 发生在检索之后，排除其中两个字段，对效率没影响，只是影响了页面展示的字段
index = main ｜ fields - firstfield secondfield

# table 属性： 展示了其中的三个字段
index = main ｜ table field1 field2 field3

# rename 属性： 展示了其中的三个字段
# rename某个字段后，就不能在后续的pipeline中用该字段了，应该用rename后的那个字段
index = main ｜ table field1 field2 field3 ｜ rename field1 as “haha” fields2 as “heihei”

# 去重
index = main ｜ table field1 field2 field3 ｜ dedup fields1

# 排序:    + 升序列   - 降序列       limit指定返回行数
index = main ｜ table field1 field2 field3 ｜ sort +（-） fields1  limit = 20

函数

# 1. top rare ：  top为前多少个， rare为最后多少个
index = main ｜ top field1    # 默认为前10个最多的
index = main ｜ top field1 limit = 20  # 可以手动设定前多少个
index = main ｜ top field1 limit = 0  # 将该字段从前到后排序  

# 2. 函数
# count   distinct count  sum average   min max  list
index = main ｜ stats count   # 统计总数
index = main ｜ stats count as wholenumber   # 统计总数并起别名
index = main ｜ stats count（fields） as number   # 统计总数并起别名