elk7.8安装配置

elk 7.8安装配置

一、前言

ELK主要由ElasticSearch、Logstash和Kibana三个开源工具组成，还有其他专门由于收集数据的轻量型数据采集器Beats。

• Elasticsearch
  分布式搜索引擎。具有高可伸缩、高可靠、易管理等特点。可以用于全文检索、结构化检索和分析，并能将这三者结合起来。Elasticsearch 是用Java 基于 Lucene 开发，现在使用最广的开源搜索引擎之一。

• Logstash
  数据收集处理引擎。支持动态的从各种数据源搜集数据，并对数据进行过滤、分析、丰富、统一格式等操作，然后存储以供后续使用。

• Kibana
  可视化化平台。它能够搜索、展示存储在 Elasticsearch 中索引数据。使用它可以很方便的用图表、表格、地图展示和分析数据。

• elk体系结构图

二、环境配置

名称	地址
Elasticsearch7.8	https://mirrors.huaweicloud.com/elasticsearch/7.8.0/elasticsearch-7.8.0-linux-x86_64.tar.gz
Logstash7.8	https://artifacts.elastic.co/downloads/logstash/logstash-7.8.0.tar.gz
Kibana7.8	https://artifacts.elastic.co/downloads/kibana/kibana-7.8.0-linux-x86_64.tar.gz

所有资源文件都上传到/opt/resources下 并解压到/opt/目录下。

三、elk安装配置

3.1 elasticsearch7.8安装配置

博主已经有一篇文章写了es安装 这里就不过多说明，详情请参考：
elasticsearch7.8安装配置

3.2 Kibana 安装配置

• 配置

[esuser@iZ2ze6qralnaqhb67athsaZ bin]$ cd /opt/kibana7.8/config/
[esuser@iZ2ze6qralnaqhb67athsaZ config]$ vi kibana.yml 
---------------------------------------------------------------------------------------------
server.port: 5601
server.host: "0.0.0.0"
//单机模式配置一个ip就好，es集群配置：["http://39.96.46.193:9200","节点2","节点3"]
elasticsearch.hosts: ["http://39.96.46.193:9200"]
elasticsearch.ssl.verificationMode: none
elasticsearch.requestTimeout: 90000
# Supported languages are the following: English - en , by default , Chinese - zh-CN .
i18n.locale: "zh-CN"
--------------------------------------------------------------------------------------------

• 切换es用户启动

// esuser 用户在es安装配置文档中已经创建好，这里直接使用
su - esuser
//启动kibana
/opt/kibana7.8/bin/kibana

• 验证
  

3.3 Logstash安装配置

说明：logstash安装到项目所在服务器上，将收集到的日志信息推送到es中

• 配置

[esuser@iZ2ze6qralnaqhb67athsaZ config]$ cd /opt/logstask7.8/config/
[esuser@iZ2ze6qralnaqhb67athsaZ config]$ cp logstash-sample.conf logstash.conf 
[esuser@iZ2ze6qralnaqhb67athsaZ config]$ vi logstash.conf 
--------------------------------------------------------------------------------------------------------------------
[root@localhost config]# cat logstash.conf 
# Sample Logstash configuration for creating a simple
# Beats -> Logstash -> Elasticsearch pipeline.
input {
file {
    #需要收集日志的路径
    path => "/opt/data_bak/logs/yss-datamiddle-multiplecheck.jar.log"
    #对应output的type
    type => "multiplecheck"
    #从文件第一行开始
    start_position => "beginning"
    }
}
output {
  elasticsearch {
    #es地址
    hosts => ["http://39.96.46.193:9200"]
    # es中index规则
    index => "multiplecheck-%{+YYYY.MM.dd}"
  }
}
-------------------------------------------------------------------------------------------------------------------

• 启动logstash

[esuser@iZ2ze6qralnaqhb67athsaZ config]$ /opt/logstask7.8/bin/logstash -f /opt/logstask7.8/config/logstash.conf

• 查看日志收集前es index情况

 http://39.96.46.193:9200/_cat/indices?v

• 查看具体index内数据信息

http://39.96.46.193:9200/multiplecheck-2020.09.29/_search?pretty

四、验证

• 创建索引模式，方便后续搜索
  
  

• 调用项目接口新产生一些日志数据，之后去Kibana查看最新日志数据。如图：