分布式的冰与火 | 分布式日志收集 ELK 搭建

一、简介

分布式日志收集 ELK 为 Elasticsearch + Logstash + kibana，Elasticsearch负责存储日志。Logstash 负责日志收集，把本地文件搬到 ES 里面,一个接受，处理，转发日志的工具。kibana 是开源的分析和可视化平台，和 ES 一起工作，实现 ES 可视化，用来搜索，查看，并和存储在 ES 中的数据进行交互。

二、ELK 安装

1、Elasticsearch 安装

2、Kibana 安装

3、安装 Logstash

下载

https://mirrors.huaweicloud.com/logstash/6.4.3/

解压
`

tar -zxvf logstash-6.4.3.tar.gz

配置

查询 Elasticsearch 的日志，在这个目录下可以找到

/usr/local/elasticsearch/elasticsearch-6.4.3/logs

创建配置文件 hly.conf ，填写以下内容

input{

    file{
	   path => "/usr/local/elasticsearch/elasticsearch-6.4.3/logs/hly.log"
	   codec =>"json"
	   type => "elasticsearch-test"
	   start_position => "beginning"
	}
}

output{
	
	stdout{ codec => rubydebug}
	elasticsearch{
		hosts => ["106.13.*.**:9200"]
		index => "elasticsearch-log"
	
	}
}	   

然后把文件复制到 logstash 的配置目录里面

/usr/local/logstash/logstash-6.4.3/config

cd ../bin/

启动 Elasticsearch

./elasticsearch -d

启动 Logstash

./logstash -f ../config/hly.config &

启动 Kibana

./kibana &

三、测试

我们访问 kibana 地址

http://106.13.*.**:5601/app/kibana

根据索引查询

GET elasticsearch-log/_mapping

GET elasticsearch-log/_search

GET elasticsearch-log/_search
{
  "query": {
    "match": {
     "message":"2020-03"
    }
  }
}
GET /elasticsearch-log

创建可视化界面




—— 完

最后，感谢您阅读我的文章，如果觉得对您有帮助，麻烦点点关注，您的鼓励和支持是我最大的动力，我会坚持每天更新，努力写出好的文章，如果有什么错误，麻烦指正，我将不胜感激，最后祝您工作顺利，生活愉快！

ABOUT

公众号：【星尘Pro】
github：https://github.com/huangliangyun

推荐阅读
史上最全，最完美的 JAVA 技术体系思维导图总结，没有之一!
全站导航 | 文章汇总!