开源实时日志分析ELK平台部署【入门篇】

面临的问题

通常，日志被 分散的储存不同的设备上。如果你管理数十上百台服务器，你还在使用依次登录每台机器的传统方法查阅日志。这样是不是感觉很繁琐和效率低下。当务之急我们使用 集中化的日志管理，例如：开源的 syslog，将所有服务器上的日志 收集汇总。

集中化管理日志后，日志的统计和检索又成为一件比较麻烦的事情，一般我们使用grep、awk和wc等Linux命令能实现检索和统计，但是对于要求更高的查询、排序和统计等要求和庞大的机器数量依然使用这样的方法难免有点力不从心

官网： https://www.elastic.co/products

ELK介绍

1. Elasticsearch是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。
2. Logstash是一个完全开源的工具，他可以对你的日志进行收集、过滤，并将其存储供以后使用（如，搜索）。
3. Kibana 也是一个开源和免费的工具，它Kibana可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面，可以帮助您汇总、分析和搜索重要数据日志。

下载

logStash-5.4.2

kibana-5.4.2

elasticsearch-5.4.0

解压

修改相关配置

直接启动logstash

报错： ERROR: No configuration file was specified. Perhaps you forgot to provide the '-f yourlogstash.conf' flag?

从这个错误中，可以看出我们需要创建一个logstash的配置文件

那么如何编写配置文件呢？
logstash中文文档

请参考： https://kibana.logstash.es/content/logstash/index.html

在终端中，像下面这样运行命令来启动 Logstash 进程：