kibana数据可视化

一.kibana安装配置

Kibana 核心产品搭载了一批经典功能：柱状图、线状图、饼图、旭日图，等等
软件下载
1.kibana配置

server5
rpm -ivh kibana-7.6.1-x86_64.rpm
cd /etc/kibana/
vim kibana.yml
server.port: 5601			#服务端口
7 server.host: "172.25.2.5"  #服务监听地址
28 elasticsearch.hosts: ["http://172.25.2.1:9200"]  #es主机群
37 kibana.index: ".kibana"  #kibana在ES中创建的索引
115 i18n.locale: "zh-CN"  #汉化
systemctl start kibana.service

[root@server5 kibana]# netstat -antlp| grep :5601
tcp        0      0 172.25.2.5:5601         0.0.0.0:*               LISTEN      18837/node

server1 2 3 4 es
2.kibana使用
创建索引匹配

创建可视化
创建仪表盘

生成访问量可视化,访问量排行榜,注意时间范围的选择

server5 apache服务，logstash数据采集，kibana数据可视化
vim /etc/logstash/conf.d/apache.conf
[root@server5 conf.d]# logstash -f /etc/logstash/conf.d/apache.conf

[root@server4 elasticsearch]# ab -c1 -n400 http://172.25.2.5/index.htm  #压测

数据采集到es，kibana数据可视化再从es读取数据

二.轻量级的filebeat

1.安装配置

这块是将server4作为apache,es,filebeat
rpm -ivh filebeat-7.6.1-x86_64.rpm
cd /etc/filebeat/
/etc/filebeat/modules.d/  #这个里面也有很多模块
vim filebeat.yml 
24   enabled: true
28     - /var/log/httpd/access_log
150   hosts: ["172.25.2.1:9200"]  #这里直接输出到es
161 #output.logstash:  #也可以输出到logstash,预处理

systemctl start filebeat.service

2.针对不同的filebeat建立index索引，便于分类管理

vim /etc/filebeat/filebeat.yml
148 setup.template.name: "server4"
149 setup.template.pattern: "server4-*"
150 setup.ilm.enabled: false
154   index: "server4-%{+yyyy.MM.dd}"
systemctl restart filebeat.service 

server1也部署filebeat,和server4保持一致
148 setup.template.name: "server1"
149 setup.template.pattern: "server1-*"
150 setup.ilm.enabled: false
154   index: "server1-%{+yyyy.MM.dd}"

3.结合ls预处理,fliebeat采集到apache日志后，先输出到logstash,在输出到es

换一种输出
server1 4
vim /etc/filebeat/filebeat.yml
165 output.logstash:
167   hosts: ["172.25.2.5:5044"]
systemctl restart filebeat.service

vim /etc/logstash/conf.d/apache.conf
input {
        beats {
        port => 5044
        }
}
filter {
  grok {
    match => { "message" => "%{HTTPD_COMBINEDLOG}" }
  }
}
output {
        stdout { }
        elasticsearch {
        hosts => ["172.25.2.1:9200"]
        index => "%{[@metadata][beat]}-%{[@metadata][version]}"
        }
}
logstash -f apache.conf