前记:上一篇写了es集群的搭建,这一篇再把 可视化的kibana 和 数据导管logstash 部署一下。
kibana安装:
kibana安装很简单,下好和es对应版本的kibana解压后。
1,打开config/kibana.yml 文件 加上
server.port: 5601 #指定kibana服务端口,可以不配默认就是5601
server.host: "192.168.1.128" #kibana安装的ip地址或主机名,默认localhost
elasticsearch.hosts: ["http://192.168.1.128:9200","http://192.168.1.135:9200","http://192.168.1.136:9200"] #es集群
2,./bin/kibana 启动kibana
访问:http://192.168.1.128:5601 ok。
kibana 后台启动:setsid ./bin/kibana
logstash安装:
1,解压即可。
2,logstash关键有两个文件需要自己写自己配置,一个是logstash的配置文件,里面定义了input,filter,output,我这里是要从kafka读数据进es,所以在 config目录下新建 kafka-logstash-es.conf。
input {
kafka {
bootstrap_servers => ["192.168.1.128:9092,192.168.1.135:9092,192.168.1.136:9092"]
group_id => "libb"
auto_offset_reset => "earliest"
topics => ["mqtt1"]
codec => "json"
}
}
filter {
}
output {
stdout {
codec => rubydebug
}
}
我先输出到控制台,调试数据。
后续还有个配置文件就是写入es时索引的模板文件,这里面定义索引的分片数,副本数,等等的一些东西,然后在上面这个kafka-logstash-es.conf文件的output里面指定使用索引的模板配置文件即可。