一、splunk入门

一、简介

1. Machine Data

• 一般公司中，机器数据占了大概90%以上，包含如应用数据，监控数据，脚本数据等；
• 机器数据的数据结构各种各样；
• 处理数据繁琐且难度大，因此引入工具来提升数据分析效率；

2. Splunk

• 用来处理数据的，主要包含5个功能

2.1 Index Data

• 将所有数据进行处理，索引，将数据包装成一个个的event，并存储在指定的位置中；
• 在检索的时候，通过输入的检索条件，从指定的位置中去读取数据；

2.2 Search & Investigate

• 在搜索框中输入指定的条件，从而实现数据搜索功能；

2.3 Add Knowledge

• 对于已经存储好的event数据，可以再对event数据加上一些定制化的标签，从而方便后续数据处理；

2.4 Monitor & Alert

• 对于有些错误数据，可以进行设定，从而在这种数据刚刚产生的时候，就报警显示出来；

2.5 Report & Analyze

• 将event数据处理，变为可视化的dashboard；

二、Splunk

1. 三个主要组件

1.1 Indexer

• 将机器数据整理成为event，并存放在指定的，不同的目录中，按照日期进行排列；
• 可以将数据保存在不同的indexer中，实现提高效率，保存不同时间，开启不同的查看权限功能；

1.2 Search Head

• 搜索框，提供搜索语法，将搜索指令传递给 Indexer；
• Indexer 检索完结果后，将目标event返回给Search Head;
• Serach Head 对数据进行处理，可以以列表，图表等各种方式展现出来；

1.3 Forwarder

• 该应用一般安装在目标应用服务器上，起到对该应用的监控作用，从而将该应用的数据，推送给Indexer来进行处理；

2.安装

• 单机版和集群版；
• 官网安装即可： 三种系统以及splunk cloud云环境；
• 三种角色： admin，power，user；

3. 数据录入

3.1 uploaded

• 通过将数据文件上传，然后对数据进行分析；
• 适用于数据文件不变的一些测试用例，不适合于企业用例；

3.2 monitor

• 监控文件，文件夹
• Http Event;
• 端口；
• script脚本；

3.3 forwarder

• 最常用的一种数据录入方式

三、搜索

1. 基本搜索

• 用时间过滤效率最高；
• 一次查询，10分钟有效，10分钟后就会再次运行该查询
• 分享的job数据，7天内有效，及其他人查看的结果和本次job第一次展示的数据相同；
• zoom in 和 挑选时间线，是在原有的job结果中过滤，不会再次查询；
• zoom out时，是重新运行一次job；
• fail * ： 通配符搜索
• NOT, AND ,OR 几种必须大写，通过（） 进行优先级排序；
• failed password 和 failed and password相同效果;

2. 高级检索

2.1 fields

• selected fields: 对于搜索作者本人，至关重要的一些字段，可以高亮现实，可以改变哪些字段能成为该类型字段；
• interested fields： 最少20的event中都包含的字段，可以加入到selected fields中去；
• 一个字段可以包含多个值，并会显示每个值在所有event中所占数目及比例；
• a： 指的是该字段的值是string类型；
• #： 指的是该字段的值类型是numrical类型；
• 字段名称大小写敏感，字段具体的值大小写不敏感；
• =，！=，>=, <= ;
• in;

2.2 搜索规则

• 一般先指定时间，然后依次为index， source， host， sourcetype；
• inclusion 比 exclusion好；

2.3 搜索语法

commond语法

# 1. pipeline： 将搜索结果通过不同的pipeline进行多次过滤  commond+\ 进行换行
#   同时可以切换search bar的窗口 
｜ content1 ｜ content2 ｜

# 2. fields 属性
#包含字段： 发生在检索之前，筛选出其中两个字段，提升了效率
index = main ｜ fields firstfield secondfield
# 排除字段： 发生在检索之后，排除其中两个字段，对效率没影响，只是影响了页面展示的字段
index = main ｜ fields - firstfield secondfield

# table 属性： 展示了其中的三个字段
index = main ｜ table field1 field2 field3

# rename 属性： 展示了其中的三个字段
# rename某个字段后，就不能在后续的pipeline中用该字段了，应该用rename后的那个字段
index = main ｜ table field1 field2 field3 ｜ rename field1 as “haha” fields2 as “heihei”

# 去重
index = main ｜ table field1 field2 field3 ｜ dedup fields1

# 排序:    + 升序列   - 降序列       limit指定返回行数
index = main ｜ table field1 field2 field3 ｜ sort +（-） fields1  limit = 20

函数

# 1. top rare ：  top为前多少个， rare为最后多少个
index = main ｜ top field1    # 默认为前10个最多的
index = main ｜ top field1 limit = 20  # 可以手动设定前多少个
index = main ｜ top field1 limit = 0  # 将该字段从前到后排序  

# 2. 函数
# count   distinct count  sum average   min max  list
index = main ｜ stats count   # 统计总数
index = main ｜ stats count as wholenumber   # 统计总数并起别名
index = main ｜ stats count（fields） as number   # 统计总数并起别名

四、Data Analyze

1. Report

• 将当前检索结果以report形式保存下来，其中数据还可以进行再检索；
• report可以有权限，具体的查询时间区间等；

2. Visualization

• 将数据通过可视化的图标表现出来；