日志分析利器splunk的搭建、使用、破解
博主对splunk的了解不多,博主的使用目的是为了同步,分析日志。当初的搭建也是为了公司申请牌照需要日志服务器分析日志,顺便自己也对这方面感兴趣就买了本书看了看搭建玩的,后来检查来了博主也给他们演示了下,splunk到底有多强大,博主现在也玩了个大概,具体的命令使用也只算初级水平,只能说很强大,至于splunk的原理还有更多功能感兴趣就去splunk官网或是百度查查看看。
Splunk 分为免费 Free 版和企业 Enterprise 版。 SplunkFree 专供个人使用。 SplunkEnterprise 添加了支持多用户和分布式部署的功能,并包括警报、基于角色的安全、单一登录、预设的 PDF 交付以及对无限数据量的支持。 你可以使用浏览器访问 http://zh-hans.splunk.com/download 下载最新版的 Splunk .如果你是第一次访问 Splunk 网站,需要先注册一个 Splunk 用户,默认下载的是 60 天 Enterprise 试用版, 60 天试用之后将自动转化为 Free 版,转化位 Free 版后每日处理的日志量最高位 00M 。
对于传统的syslog日志同步,博主只能说它们已经out了,算不上一种高大上的方法,awk,grep,sed这些运维人员自己玩玩就好了。splunk提供日志实时同步,客户只需要在可视化web 引擎上输入关键字就可以查询,也可以保存上次查询的命令,也可以选择查询时间的范围,最主要的是可以建立每个应用的索引,不至于应用日志混乱。
下载软件包:
splunkserver软件包 http://pan.baidu.com/s/1dFLOUkx 密码:2xxy
splunkforward插件 http://pan.baidu.com/s/1sl01KfF 密码:n7op
博主的软件包是splunk-6.2.5-272645-linux-2.6-x86_64的rpm包,官网已经出6.2.7的,虽然算不上最新的,但是足够使用,感兴趣可以去官网下载。
splunk server搭建
安装server软件包:
rpm -ivh splunk-6.2.5-272645-linux-2.6-x86_64.rpm
默认的安装路径在/opt/splunk目录下;
cd /opt/splunkforwarder/bin
./splunk enable boot-start 生成/etc/init.d/splunk 启动脚本,以后就可以这样启动了
netstat -antple | grep splunk
tcp 0 0 0.0.0.0:8089 0.0.0.0:* LISTEN 0 10651 1582/splunkd
tcp 0 0 0.0.0.0:8000 0.0.0.0:* LISTEN 0 11711 1582/splunkd
splunk启动两个端口8000和8089,8000为server web端口,8089位splunkforward端口,同步日志时使用。
浏览器输入:http://192.168.1.33:8000/
默认的用户密码: admin changme
技术分享
添加接收数据同步的端口,首页默认的端口9997就好:
技术分享
添加一个接收数据端口
技术分享
添加默认的端口就好9997
技术分享
splunk server端操作
建立索引,每个索引代表一个应用的日志:
技术分享
博主的splunk都是之前建好的,splunk已经在使用了,下面是一些应用日志的索引。
技术分享
splunk forward的安装:
rpm -ivh splunkforwarder-6.2.5-272645-linux-2.6-x86_64.rpm
cd /opt/splunkforwarder/bin
启动splunk
./splunk start
自启动splunk
./splunk enable boot-start 生成/etc/init.d/splunk 启动脚本
客户端添加转发器已经连接到接收器
./splunk add forward-server 192.168.160.98:9997 //node的ip,也就是splunk forward的ip,也就是n多个你想把日志同步到splunk server服务器的ip