ELK简介
ELK是三个开源软件的缩写,分别表示:elasticsearch、logstash、kibana
Elasticsearch
是个开源分布式搜索引擎,它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制,restful风格接口,多数据源,自动搜索负载等。
Logstash
是一个完全开源的工具,他可以对你的日志进行收集、过滤,并将其存储供以后使用(如,搜索)。
Kibana
也是一个开源和免费的工具,它Kibana可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面,可以帮助您汇总、分析和搜索重要数据日志。
实现日志收集的方案
方案一:logstash->elasticsearch->kibana
将logstash部署到每个节点,收集相关的日志,并经过分析过滤后发送到elasticsearch进行存储,elasticsearch将数据以分片的形势进行压缩存储,通过kibana对日志进行图形化的展示。
优点:此架构搭建简单,容易上手
缺点:
- 1、每个节点部署logstash,运行时占用CPU,内存大,会对节点性能造成一定的影响
- 2、没有将日志数据进行缓存,存在丢失的风险
方案二:logstash->kafka->elasticsearch->kibana
logstash agent监控过滤日志,将过滤的日志内容发送给Kafka,logstash server将日志收集一起交给elasticsearch,引入了消息队列机制作为缓存池,即使logstash server出现异常,由于日志暂存在kafka消息队列中,能避免日志数据丢失,但是还是没有解决性能问题。
这次选择的是第一种方案,比较简单,容易理解
使用docker compose搭建ELK环境
下载docker镜像
docker pull elasticsearch:6.4.0
docker pull logstash:6.4.0
docker pull kibana:6.4.0
在本地创建好存放文件的目录
创建elasticsearch和logstash目录,后面用于存放配置文件
logstash.conf的内容:
input {
tcp {
mode => "server"
host => "0.0.0.0"
port => 4560
codec => json_lines
}
}
output {
elasticsearch {
hosts => "es:9200"
index => "springboot-%{+YYYY.MM.dd}"
}
}
使用docker-compose.yml脚本启动ELK服务
docker-compose.yml的内容为:
version: '3'
services:
elasticsearch:
image: elasticsearch:6.4.0
container_name: elasticsearch
environment:
- "cluster.name=elasticsearch" #设置集群名称为elasticsearch
- "discovery.type=single-node" #以单一节点模式启动
- "ES_JAVA_OPTS=-Xms512m -Xmx512m" #设置使用jvm内存大小
volumes:
- /Users/mango/Downloads/install/docker/elk/elasticsearch/plugins:/usr/share/elasticsearch/plugins #插件文件挂载
- /Users/mango/Downloads/install/docker/elk/elasticsearch/data:/usr/share/elasticsearch/data #数据文件挂载
ports