ELK实时日志分析平台环境搭建

主要介绍

环境

1. 本地环境：deepin 15.9
2. Java环境：1.8.0_171
3. 软件版本：
   • elasticsearch-6.6.2
   • logstash-6.6.2
   • kibana-6.6.2-linux-x86_64

日志分析的好处：

系统和业务的日志很重要，通过对日志的分析有以下的好处：

• 信息查找。通过检索日志信息，定位相应的bug，找出解决方案（锅）。
• 服务诊断。通过对日志信息进行统计、分析，了解服务器的负荷和服务运行状态，找出耗时请求进行优化等等。
• 数据分析。可以做进一步的数据分析，统计、聚合出有意义的信息。

主要的软件

1. elasticsearch：一个基于Lucene的开源分布式搜索服务器。它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。Elasticsearch是用Java开发的，所以需要本地装有Java环境
2. logstash：可以对你的日志进行收集、过滤、分析，支持大量的数据获取方法，并将其存储供以后使用（如搜索）
3. kibana：一个基于浏览器页面的Elasticsearch前端展示工具，Kibana可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面，可以帮助汇总、分析和搜索重要数据日志。

ELK的思路

Logstash收集产生的Log或其他数据，并存放到ElasticSearch集群中，而Kibana则从ES集群中查询数据并可视化，再返回给Browser

安装配置Elasticsearch

1. 首先去官网下载: 官网地址www.elastic.co

2. 安装并添加用户（root使用会报错）

#解压到opt
tar -zxvf elasticsearch-6.6.2.tar.gz 

#添加用户
adduser HXH 

#返回/opt添加权限
chown -R HXH  elasticsearch-6.6.2

#切换用户
su HXH

3. 修改limits.conf
   
4. 配置sysctl
   

#让配置生效
sysctl -p

5. 启动服务: ./elasticsearch-6.6.2/bin/elasticsearch
   

6. 启动成功
   

（可选）安装elasticsearch-head插件

1. 通过elasticseach自带的plugin命令 （找不到包安装不了）

2. github下载：这是地址

   • 本地需要有npm（sudo apt-get install npm）
   • 编译源码：npm install -g grunt-cli
   • 安装：npm install
   • 启动：grunt server
     

3. 效果
   

安装配置Logstash

1. 首先去官网下载: 官网地址www.elastic.co

2. 安装并配置

#解压到opt
tar -zxvf logstash-6.6.2.tar.gz 

3. 本地测试接收从终端输入，Logstash解析输出到控制台 ，并输出到ElasticSearch
   

4. 启动：
   root@shuxnhs-PC:/opt/logstash/bin# ./logstash -f …/test/std_std.conf
   

5.效果图

安装配置Kibana

1. 首先去官网下载: 官网地址www.elastic.co

2. 安装并配置

#解压到opt
tar -zxvf kibana-6.6.2-linux-x86_64.tar.gz 

3. 启动./bin/kibana
   
4. 效果图