Rancher On logstash
概述:
logstash是一个数据分析软件,主要目的是分析log日志。整一套软件可以当作一个MVC模型,logstash是controller层,Elasticsearch是一个model层,kibana是view层。
首先将数据传给logstash,它将数据进行过滤和格式化(转成JSON格式),然后传给Elasticsearch进行存储、建搜索的索引,kibana提供前端的页面再进行搜索和图表可视化,它是调用Elasticsearch的接口返回的数据进行可视化。logstash和Elasticsearch是用Java写的,kibana使用node.js框架。
一、下载logstash镜像
下载命令:
docker pull logstash:7.5.1
docker tag logstash:7.5.1 192.168.8.33/public/logstash:v7.5.1
docker push 192.168.8.33/public/logstash:v7.5.1
二、创建挂载目录与映射配置文件
2.1 创建配置文件
logstash.yml
http.host: "0.0.0.0"
xpack.monitoring.elasticsearch.hosts: [ "http://192.168.8.31:9200" ]
logstash-sample.conf
# Sample Logstash configuration for creating a simple
# Beats -> Logstash -> Elasticsearch pipeline.
input {
beats {
port => 5044
}
}
output {
elasticsearch {
hosts => ["http://192.168.8.31:9200"]
index => "%{[@metadata][beat]}-%{[@metadata][version]}-%{+YYYY.MM.dd}"
user => "elastic"
password => "elastic"
}
}
2.2 配置启动命令
端口
5044
9600
2.3 映射配置文件
先拷贝配置文件出来(rancher无挂载启动)
docker cp 6cb4ee8b251c:/usr/share/logstash/config /data/logstash/
mkdir -p /data/logstash/config
mkdir -p /data/logstash/data
chmod -R 777 /data/logstash/config
chmod -R 777 /data/logstash/data
/data/logstash/config /usr/share/logstash/config
/data/logstash/data /usr/share/logstash/data
/usr/share/logstash/config/logstash-sample.conf logstash-sample.conf
/usr/share/logstash/config/logstash.yml logstash.yml