ELK日志分析平台——Elasticsearch分布式搜索引擎

一、简介

ELK简介

ELK是三个组件的缩写, 分别是Elasticsearch, Logstash, Kibana. ELK平台可以用于实现日志收集、日志搜索和日志分析

• Elasticsearch:
  是ELK的核心
  一个分布式的实时文档存储，每个字段 可以被索引与搜索
  一个分布式实时分析搜索引擎
  能胜任上百个服务节点的扩展，并支持 PB 级别的结构化或者非结构化数据
• Logstash:
  简单说是一个日志收集工具, 可以定义从哪里获取数据, 并且可以简单处理数据, 最后可以定义将数据输出到哪里, 一般输出到es.
• Kibana:
  数据展示界面, 并且可以分析数据, 例如从es中读取数据进行展示分析. es自己也带有简单的展示dashboard: http://127.0.0.1:9200/_plugin/head/, 当然 前提是你安装了head插件

Elasticsearch简介

基础模块
cluster：管理集群状态，维护集群层面的配置信息。
alloction：封装了分片分配相关的功能和策略。
discovery：发现集群中的节点，以及选举主节点。
gateway：对收到master广播下来的集群状态数据的持久化存储。
indices：管理全局级的索引设置。
http：允许通过JSON over HTTP的方式访问ES的API。
transport：用于集群内节点之间的内部通信。
engine：封装了对Lucene的操作及translog的调用。

Elasticsearch应用场景：

• 信息检索
  日志分析
  业务数据分析
  数据库加速
  运维指标监控

Elasticsearch官网

二、搭建ELK日志分析平台

实验环境：
rhel7.6 Redhat虚拟机
server1 172.25.5.1
server2 172.25.5.2
server3 172.25.5.3

1.各个节点安装配置elasticsearch

server1,server2,server3都要安装配置

安装elasticsearch并开启服务

[root@server1 ~]# cd 7.6
[root@server1 7.6]# ls
elasticsearch-7.6.1-x86_64.rpm
# 需要自己在官网下载
# Elasticsearch是用Java开发的，7.6以前的版本需要安装jdk-8u121-linux-x64.rpm
[root@server1 7.6]# rpm -ivh elasticsearch-7.6.1-x86_64.rpm
[root@server1 7.6]# systemctl daemon-reload
[root@server1 7.6]# systemctl enable elasticsearch
Created symlink from /etc/systemd/system/multi-user.target.wants/elasticsearch.service to /usr/lib/systemd/system/elasticsearch.service.
[root@server1 7.6]# cd /etc/elasticsearch/
[root@server1 elasticsearch]# ls
elasticsearch.keystore  jvm.options        role_mapping.yml  users
elasticsearch.yml       log4j2.properties  roles.yml         users_roles

2.编写elasticsearch主配置文件

[root@server1 elasticsearch]# vim elasticsearch.yml 
cluster.name: my-es                  # 集群的名称my-es
node.name: server1                   # 当前节点的主机名（主机名需要解析）
path.data: /var/lib/elasticsearch    # 数据目录
path.logs: /var/log/elasticsearch    # 日志目录
#bootstrap.memory_lock: true         #锁定内存分配（生产环境要开，实验环境内存太小，开不开无所谓）
network.host: 172.25.5.1             # 主机IP
http.port: 9200                      # http服务端口
discovery.seed_hosts: ["server1", "server2", "server3"]          #集群主机,表示该集群由三台主机构成，主机名分别是server1，server2和server3
cluster.initial_master_nodes: ["server1", "server2","server3"]   #初始master