- [Alerts-警报](#Alerts_102)
- [Datasets-数据集](#Datasets_106)
- [Data Model-数据模型](#Data_Model_108)
- [Table Datasets-表数据集](#Table_Datasets_110)
- [Apps-应用](#Apps_113)
- [Distributed Search-分布式搜索](#Distributed_Search_116)
+ [系统组件](#_118)
+ - [Forwarders-转发器](#Forwarders_119)
- [Indexer-索引器](#Indexer_121)
- [Search Head-搜索头部](#Search_Head_123)
什么是Splunk?
介绍
splunk的一个可扩展且可靠的数据平台,用于调查、监控、分析和处理您的数据,在加速创新的同时确保安全性和系统弹性,释放资源来发现数据中的机会并提供创新,即使面对不可预测性也是如此。随着攻击的复杂性和攻击面不断扩大,确保强大的安全态势越来越具有挑战性。Splunk 使客户能够实现其安全运营的现代化,在混合、多云环境中提供更强大、统一的安全态势。结果是:更高效、更敏捷的安全运营中心(SOC) 支持业务增长。随着以数字方式开展的业务的比例持续飙升,系统弹性已成为业务弹性的关键。借助 Splunk,客户可以实时了解其技术堆栈所有层(从底层基础设施到最终用户应用程序)的运行状况和性能,从而能够通过主动发现问题并推动快速解决来优化性能。客户在以数字业务的速度管理其系统的同时,减少了开销并提高了利润。
Splunk的应用场景
按功能划分
- 安全:赋予企业创新能力,同时限制风险
- IT运营:从经营业务到转型
- DevOps开发运维:加速提供卓越的用户体验
按行业划分
- 航空航天与国防:加快创新并降低安全风险,以确保持续获得任务成功。
- 通信:通过智能分析和清晰的分析结果将数据变为行动。
- 能源和公共事业:将 IT 和 OT 环境联系起来,并保持良好的基础设施运行状况和安全态势。
- 金融服务:通过数据分析转变 IT、安全和业务运营方式。
- 医疗:支持远程医疗和远程诊断,保护患者隐私并提高医疗设备的安全性。
- 制造业:通过在单个平台内分析 IT 和 OT数据,监控您的供应链,预测维护需求并以更少的资源完成更多的任务。
Splunk下载与安装
我们学习的主要是Splunk Enterprise。
docker安装(推荐)
镜像下载
docker pull splunk/splunk:8.2.4
创建并运行容器
docker run -d -p 8000:8000 -e "SPLUNK\_START\_ARGS=--accept-license" -e "SPLUNK\_PASSWORD=<password>" --name splunk splunk/splunk:8.2.4
手动安装
科学上网,使用美国ip访问splunk官网或splunk中文网(否则,无法注册账号)
点击Free Splunk或免费试用splunk
注册账号,登录
根据自己的操作系统选择,旧版本可查看Old releases
点击后,浏览器下载,也有命令行下载,例如
linux命令行
wget -O splunk-8.2.4-87e2dda940d1-Linux-x86_64.tgz 'https://download.splunk.com/products/splunk/releases/8.2.4/linux/splunk-8.2.4-87e2dda940d1-Linux-x86\_64.tgz'
mac 命令行
wget -O splunk-8.2.4-87e2dda940d1-macosx-10.11-intel.dmg 'https://download.splunk.com/products/splunk/releases/8.2.4/osx/splunk-8.2.4-87e2dda940d1-macosx-10.11-intel.dmg'
Splunk简单使用
登录
访问:http://ip:8000
搜索
点击搜索,尝试使用搜索功能
index="\_internal" source="/opt/splunk/var/log/splunk/metrics.log"
详细了解Splunk
Splunk的概念
Indexes-索引
添加数据时,Splunk会将数据解析为事件,提取时间戳,保存到磁盘的索引中,默认是保存到“main”索引中,你可以自建索引,搜索时将从一个或多个索引中搜索。
Events-事件
带有时间戳的数据,如文档、配置文件,报错信息,例如,一个Web相关事件:
173.26.34.223 - - [01/ Mar/2021:12:05:27 -0700] “GET /trade/ app?action=logout HTTP/1.1” 200 2953
Index-time 索引时间、Search-time 搜索时间
索引时间指的是数据从主机读取,被分类成数据源,提取时间戳,被解析为事件,写入到磁盘的索引上的处理过程。
搜索时间指的是从磁盘上的索引搜索事件并从事件中提取字段的处理过程。
Metrics-指标
一个指标数据点包含时间戳和一个或多个测量值。例如
Timestamp: 08-05-2020 16:26:42.025
-0700
Measurement: metric_name:os.cpu.
user=42.12, metric_name:max.size.
kb=345
Dimensions: hq=us-west-1,
host-主机和source-资源
host是物理或虚拟设备的名字,source可以是目录、文件、数据流,source-type可以是协议等标识符。前面搜索结果中的splunkd就是指xxx.log是来自splunk服务端。
Fields-字段
fields就是键值对,不是所有的事件都有相同的字段。Splunk会在返回结果时根据你的搜索语句进行字段提取,也可以利用字段提取器通过正则等来提取字段,这是和Elastic Search的一个区别。
写在最后
在结束之际,我想重申的是,学习并非如攀登险峻高峰,而是如滴水穿石般的持久累积。尤其当我们步入工作岗位之后,持之以恒的学习变得愈发不易,如同在茫茫大海中独自划舟,稍有松懈便可能被巨浪吞噬。然而,对于我们程序员而言,学习是生存之本,是我们在激烈市场竞争中立于不败之地的关键。一旦停止学习,我们便如同逆水行舟,不进则退,终将被时代的洪流所淘汰。因此,不断汲取新知识,不仅是对自己的提升,更是对自己的一份珍贵投资。让我们不断磨砺自己,与时代共同进步,书写属于我们的辉煌篇章。
需要完整版PDF学习资源私我
网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!