ELK分布式集群日志分析系统

最新推荐文章于 2023-07-10 19:11:50 发布
最新推荐文章于 2023-07-10 19:11:50 发布
阅读量306 收藏
点赞数
文章标签： devops 运维 linux centos
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/IT99qky/article/details/118365996
版权

一、基本概念：

	ELK 是三个开源项目的首字母缩写，这三个项目分别是：Elasticsearch、Logstash 和 Kibana。

  1. Elasticsearch 是一个搜索和分析引擎。

  2. Logstash是服务器端数据处理管道，能够同时从多个来源采集数据，转换数据，然后将数据发送到诸如 Elasticsearch 等存储库中。

  3. Kibana 则可以让用户在 Elasticsearch 中使用图形和图表对数据进行可视化。

    ELK日志系统数据流图如下：
    在这里插入图片描述

一个完整的集中式日志系统，需要包含以下几个主要特点：

  1. 收集－能够采集多种来源的日志数据
  2. 传输－能够稳定的把日志数据传输到中央系统
  3. 存储－如何存储日志数据
  4. 分析－可以支持 UI 分析
  5. 警告－能够提供错误报告，监控机制

二、分布式图解

在这里插入图片描述

三、搭建过程

  1. master部署Apache服务，并部署logstash收
  2. Slave1部署elasticsearch和kibana
  3. Slave2部署elasticsearch
  4. Proxy 部署elasticsearch

三台elasticsearch构成ELS群集

  1. 部署elasticsearch(这里以slave1为列)

    1.1、由于之前配置好的hosts映射,主机名,防火墙

[root@slave1 ~]# rpm --import https://packages.elastic.co/GPG-KEY-elasticsearch
[root@slave1 yum.repos.d]# vi elasticsearch.repo
[elasticsearch-2.x]
name=Elasticsearch repository for 2.x packages
baseurl=http://packages.elastic.co/elasticsearch/2.x/centos
gpgcheck=1
gpgkey=http://packages.elastic.co/GPG-KEY-elasticsearch
enable=1
[root@slave1 yum.repos.d]# yum install elasticsearch -y
[root@slave1 yum.repos.d]# yum install java -y
[root@slave1 yum.repos.d]# java -version

1.2、修改配置文件

[root@slave1 yum.repos.d]# cd /etc/elasticsearch/
[root@slave1 elasticsearch]# ls
elasticsearch.yml  logging.yml  scripts
[root@slave1 elasticsearch]# cp -p  elasticsearch.yml elasticsearch.yml.bak
[root@slave1 elasticsearch]# egrep -v "^$|^#" elasticsearch.yml
cluster.name: elk-cluster  #集群名称
node.name: slave1		#当前节点名
path.data: /data/elk-data	#数据存储位置(目录不存在，需要创建)
path.logs: /var/log/elasticsearch/	#日志文件存放的位置
bootstrap.memory_lock: false

##true：允许内存中的数据交还给SWAP，flase：不允许内存中的数据交还给SWAP。 选择false，因为swap分区实在硬盘上建立的，如果内存不够，数据溢出，分到硬盘上的话，会影响速度

network.host: 0.0.0.0	#监听地址，0.0.0.0表示网段
http.port: 9200	#ES端口号，外部通讯的端口。PS：9300是集群内部通讯端口
discovery.zen.ping.unicast.hosts: ["slave1", "slave2","proxy"] #集群中包含的节点名

[root@slave1 elasticsearch]# mkdir -p /data/elk-data
[root@slave1 elasticsearch]# id elasticsearch
uid=997(elasticsearch) gid=994(elasticsearch) 组=994(elasticsearch)
[root@slave1 elasticsearch]# chown elasticsearch.elasticsearch /data/elk-data/
[root@slave1 elasticsearch]# systemctl start elasticsearch.service
[root@slave1 ~]# systemctl enable elasticsearch
[root@slave1 elasticsearch]# netstat -anpt | grep 9200
[root@slave1 elasticsearch]# netstat -anpt | grep 9200
tcp6       0      0 :::9200                 :::*                    LISTEN      	10128/java   

网页测试:

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

群集健康状态检查

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

群集属性状态 ，可以看到群集内部通信端口9300

在这里插入图片描述

  1. 安装elasticsearch-head插件(可视化工具,以slave1为列)

    2.1、安装

    root@slave1-elasticsearch]#/usr/share/elasticsearch/bin/plugin install mobz/elasticsearch-head

    安装位置：/usr/share/elasticsearch/plugins/head

    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述创建一个索引信息，创建索引为index-demo，类型为test，可以看到成功创建，这里的数据会被存储到ES集群中。

    [root@slave1 head]# curl -XPUT 'localhost:9200/index-demo/test/1?pretty&pretty' -H 'content-Type: application/json' -d '{"user":"zhangsan","mesg":"hello}'

    刷新一下，可以看到存储的分片处理与备份，暂时不存在节点间的主备关系。加粗的是主文件的，细框的是备份文件，不论哪个节点宕机，存储都不会丢失，很安全，三个节点共10个分片
    利用组件的复合查询进行索引的创建、查询、删除
    创建索引index-demo2
    在这里插入图片描述

    提交后查看:
    在这里插入图片描述

    可看到分片存储情况
    在这里插入图片描述

    查询
    在这里插入图片描述

    设置主备节点，slave1为主，slave2为备,proxy为备
    先关闭slave2、proxy的elasticsearch，重启slave1服务，再开启slave2、proxy （主备由先后开启服务决定），刷新查看分片情况：
    在这里插入图片描述

  2. elasticsearch的监控组件安装

    3.1、生产环境中要修改

    [root@slave1 ~]# vi /etc/security/limits.conf 
* soft nofile 65535
* hard nofile 65535

    #解决de-01和node-02日志提示不让锁内存
#末尾插入
elasticsearch soft memlock unlimited
elasticsearch hard memlock unlimited
systemctl stop elasticsearch.service
systemctl start elasticsearch.service
访问:http://192.168.254.241:9200/_plugin/kopf/#!/cluster

    在这里插入图片描述

  3. 部署Apache、logstash(master部署)

     4.1、安装httpd

    [root@master ~]# yum install httpd -y
[root@master ~]# systemctl enable httpd
查看日志:
[root@master ~]# ll /var/log/httpd/
总用量 2544
-rw-r--r-- 1 root root 2588919 6月   7 15:10 access_log
-rw-r--r-- 1 root root   11353 6月   8 10:28 error_log

    4.2、安装logstash
#准备yum源

    [root@master ~]# rpm --import https://packages.elastic.co/GPG-KEY-elasticsearch
[root@master ~]# cd /etc/yum.repos.d/
[root@master yum.repos.d]# vim logstash.repo
[logstash-2.1]
name=Logstash repository for 2.1.x packages
baseurl=http://packages.elastic.co/logstash/2.1/centos
gpgcheck=1
gpgkey=http://packages.elastic.co/GPG-KEY-elasticsearch
enable=1
[root@master ~]# yum install logstash -y  
[root@master ~]# ln -s /opt/logstash/bin/logstash /usr/local/bin/
[root@master ~]# systemctl start logstash.service
[root@master ~]# systemctl enable logstash.service
下载java
[root@master ~]# yum install java -y
[root@master ~]# java -version
openjdk version "1.8.0_292"
OpenJDK Runtime Environment (build 1.8.0_292-b10)
OpenJDK 64-Bit Server VM (build 25.292-b10, mixed mode)

    logstash(Apache)与elasticsearch (node)功能是否正常，做对接测试
logstash字段描述解释:
-f通过这个选项可以指定logstash的配置文件，根据配置文件配置logstash
 -e后面跟着字符串该字符串可以被当做logstash的配置(如果是””,则默认使用stdin	做为输入、stdout作为输出)
 -t测试配置文件是否正确，然后退出
定义输入和输出流，类似管道，并验证输入输出
注:
  -e          执行操作
  input       标准输入
  { input }   插件
  output      标准输出
  { stdout }  插件

    [root@master ~]#  /opt/logstash/bin/logstash -e 'input { stdin{} } output { stdout{} }'
Settings: Default filter workers: 1
Logstash startup completed
www.baidu.com
2021-06-08T07:36:47.483Z master www.baidu.com
www.taobao.com
2021-06-08T07:36:57.405Z master www.taobao.com
验证输出格式化,使用 rubydebug 显示详细信息输出，code为一种编解码
[root@master ~]# /opt/logstash/bin/logstash -e 'input { stdin{} } output { stdout{codec 	=> rubydebug} }'
Settings: Default filter workers: 1
Logstash startup completed
qky123
{
       "message" => "qky123",
      "@version" => "1",
    "@timestamp" => "2021-06-08T07:38:00.924Z",
          "host" => "master"
}

    使用logstash将信息写入elasticsearch输入输出对接

    [root@master ~]# /opt/logstash/bin/logstash -e 'input { stdin{} } output { elasticsearch 	{ hosts => ["192.168.254.241:9200"] } }'
Settings: Default filter workers: 1
Logstash startup completed
www.baidu.com
www.taobao.com
qky love zyn
qky12377321

    在slave1上查看elasticsearch网页，成功输出

    在这里插入图片描述

    写入ES和同时生成文本

    [root@master ~]# /opt/logstash/bin/logstash -e 'input { stdin{} } output { elasticsearch 	{ hosts => ["192.168.254.241:9200"] } stdout { codec => rubydebug } }'
Settings: Default filter workers: 1
Logstash startup completed
nerver start keepalived
{
       "message" => "nerver start keepalived",
      "@version" => "1",
    "@timestamp" => "2021-06-08T07:45:05.363Z",
          "host" => "master"
}

    在这里插入图片描述

    测试系统日志能否被采集

    [root@master conf.d]# vim /etc/logstash/conf.d/system.conf
input {
        file{
            path => "/var/log/messages"
            type => "system"   #系统类型
            start_position => "beginning"
            }
      }
output {
        elasticsearch {
            hosts => ["192.168.254.241:9200"]
            index => "system-%{+YYYY.MM.dd}"
            }
       }
[root@master ~]# logstash -f /etc/logstash/conf.d/system.conf #指定logstash配置文	件，输出系统日志
重启slave1
[root@slave1 ~]# systemctl restart elasticsearch.service
刷新网页，查看索引数据，成功输出了系统日志

    在这里插入图片描述

    查看索引切片情况

    在这里插入图片描述

  4. 在slave1上安装kibana

    5.1、安装部署

    [root@slave1 ~]# mkdir -p /usr/local/kibana
[root@slave1~]#wget 	https://download.elastic.co/kibana/kibana/kibana-4.3.1-linux-x64.tar.gz
[root@slave1 ~]# tar -zxvf kibana-4.3.1-linux-x64.tar.gz -C /usr/local/kibana/
[root@slave1 ~]# vi  /usr/local/kibana/kibana-4.3.1-linux-x64/config/kibana.yml
[root@slave1~]#egrep -v "^$|^#" 		/usr/local/kibana/kibana-4.3.1-linux-x64/config/kibana.yml
server.port: 5601  #服务器端口
server.host: "0.0.0.0" #监听地址
elasticsearch.url: "http://192.168.254.241:9200" #和ES建立联系
kibana.index: ".kibana"	#建立索引
[root@slave1 ~]# yum install screen -y
[root@slave1 ~]# /usr/local/kibana/kibana-4.3.1-linux-x64/bin/kibana #启动监听

    5.2、对接system系统日志
访问网页:

    在这里插入图片描述
    在这里插入图片描述

    Discover里查看日志，图表式显示
	![在这里插入图片描述](https://img-blog.csdnimg.cn/20210630180005190.png)



5.3、对接Apache日志(master节点)

    [root@master ~]# cat /etc/logstash/conf.d/apache-log.conf
input {  #输入Apache日志
       file{
         path => "/etc/httpd/logs/access_log"
         type => "access"
         start_position => "beginning"
         }
       file{
         path => "/etc/httpd/logs/error_log"
         type => "error"
         start_position => "beginning"
         }
      } 
output {  #输出到ES
        if [type] == "access" {
        elasticsearch {
          hosts => ["192.168.254.241:9200"]
          index => "apache_access.%{+YYYY.MM.dd}"
         }
        }
        if [type] == "error" {
        elasticsearch {
          hosts => ["192.168.254.241:9200"]
          index => "apache_error.%{+YYYY.MM.dd}"
         }
        }
       }

    #在logstash上输入Apache日志，输出到elasticsearch

    [root@master ~]# logstash -f /etc/logstash/conf.d/apache-log.conf  #启动脚本

    刷新ES网页，查看索引，建议先访问apache页面，否则可能刷新不出来

在kibana创建Apache索引图表

    在这里插入图片描述
    在这里插入图片描述

流沙℡
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Docker构建ELK Docker集群日志收集系统
01-10
当我们搭建好Docker集群后就要解决如何收集日志的问题 ELK就提供了一套完整的解决方案 本文主要介绍使用Docker搭建ELK 收集Docker集群的日志 ELK简介 ELK由ElasticSearch、Logstash和Kiabana三个开源工具组成 ...
大型电商日志分析项目----3.项目数据流图
u013059060的博客
05-24 1790
分布式ELK日志文件分析系统（曾经沧海难为水，除却巫山不是云）
Y0UZI的博客
07-10 662
日志主要包括系统日志、应用程序日志和安全日志。系统远维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因。经常分析日志可以了解服务器的负荷，性能安全性，从而及时采取措施纠正错误。往往单台机器的日志我们使用grepawk等工具就能基本实现简单分析，但是当日志被分散的储存不同的设备上。如果你管理数十上百台服务器，你还在使用依次登录每台机器的传统方法查阅日志。这样是不是感觉很繁琐和效率低下。当务之急我们使用集中化的日志管理，例如：开源的rsysiocg。
用ELK打造可视化集中式日志
小白菜的博客
12-26 3879
Elk是Elastic search, Logstash和Kibana三者的简称。Elastic search顾名思义是致力于搜索，它是一个弹性搜索的技术平台，与其相似的有Solr，二者的对比可参考下面这篇文章： Elastic search与Solr选型总结一下就是，如果你不喜欢夜店咖还是喜欢忠实可靠的老婆，那选Elastic search准没错，何况他还有那么一点美。目前运用ES的案例也不少了
美团高性能终端实时日志系统建设实践
weixin_45583158的博客
11-07 680
你是否经常遇到线上需要日志排查问题但迟迟联系不上用户上报日志的情况？或者是否经常陷入由于存储空间不足而导致日志写不进去的囧境？本文介绍了美团是如何从0到1搭建高性能终端实时日志系统，从此彻底解决日志丢失和写满问题的。希望能为大家带来一些帮助和启发。1 背景1.1 Logan 简介1.2 Logan 工作流程1.3 为什么需要实时日志？1.4 Logan 实时日志是什么？2 设计实现2.1 整体架构...
2021-1-25学习日志：数据流图和结构图
m0_54816196的博客
01-25 788
慕课链接：https://www.icourse163.org/learn/NJU-1002246017?tid=1460382443#/learn/content 今天学到了结构化编程的重要工具：数据流图和结构图。 二者是分析用户需求所得到的产物。 数据流图将需求抽象成“输入->过程->输出”而得。一张数据流图必然有输入和输出，因为 中间有过程，所以输入一定不等于输出。画数据流图的方法很简单，首先找到各项基本元素： 外部实体，过程，数据流，数据存储；然后画出最概括的系统模...
使用ELK搭建日志集中分析平台实践
01-27
而Nginx日志分割/GoAccess/Awstats都是相对简单的单节点解决方案，针对分布式集群或者数据量级较大时会显得心有余而力不足，而ELK的出现可以使我们从容面对新的挑战。Logstash：负责日志的收集，处理和储存Elastic...
基于ELK自动化收集Docker容器日志的分析系统
01-27
使用主流的开源日志收集系统ELK，并结合分布式消息队列redis部署实时消息自动化系统，能够快速、实时地收集应用日志，提高运维人员的工作效率。详细介绍了Docker、ELK、Docker Swarm和Etcd的功能及原理，最后通过...
java7源码-elk-stack:Elasticlogstashkibana分布式日志收集分析，可视化展示
06-04
ELK，也就是Elasticsearch、Logstash、Kibana三者的结合，是一套开源的分布式日志管理方案. Elasticsearch：负责日志存储、检索和分析 LogStash：负责日志的收集、处理 Kibana：负责日志的可视化 方案： 2. 环境搭建...
微服务之分布式日志 ELK
笑三年-Dylen
06-04 1097
微服务之分布式日志 ELK 分布式事务 什么是分布式事务 在分布式应用中,日志被分布在不同的设备上,为了方便集中管理日志并且得到相应的预期结果,这就是分布式日志. 为什么使用分布式日志 化繁为简,提高日志处理速度 ELK ELK其实是Elasticsearch, Logstash, Kibana的首字母,通过它们的整合使用,将所有节点上的日志统一收集，管理，访问。其工作流程如下: Elasticsearch: 是个开源分布式搜索引擎 下载地址 解压并进入config目录,
日志系统详细说明文档
02-28
日志系统详细说明文档--基于Log4net日志系统的详细说明
业务流程及日志查看简介（持续更新）
08-09
goood!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!
分布式日志分析系统的设计与实现
05-20
分布式日志分析系统的设计与实现
ELK 实现 Java 分布式系统日志分析架构
aibiba0894的博客
01-13 656
日志是分析线上问题的重要手段，通常我们会把日志输出到控制台或者本地文件中，排查问题时通过根据关键字搜索本地日志，但越来越多的公司，项目开发中采用分布式的架构，日志会记录到多个服务器或者文件中，分析问题时可能需要查看多个日志文件才能定位问题，如果相关项目不是一个团队维护时沟通成本更是直线上升。把各个系统的日志聚合并通过关键字链接一个事务处理请求，是分析分布式系统问题的有效的方式。 ELK...
ELK基础架构解说-运维笔记
weixin_30496431的博客
06-08 313
一、ELK日志分析工具介绍1) Elasticsearch1.1) Elasticsearch介绍ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是第二流行的企业搜索引擎。设计用于云计算中，能够达到实...
java项目日志分析_从零构建ELK日志分析平台:maven项目日志写入kafka
weixin_39620118的博客
02-24 167
从零构建ELK日志分析平台:maven项目日志写入kafka从零构建ELK日志分析平台:maven项目日志写入kafka使用前面章节构建的Java通用日志组件完成maven项目日志写入kafka.项目完整代码github飞机kafka已启动如果没有kafka,可参照 kafka单机容器版本安装教程kafka-manager已启动如果没有kafka-manager,可参照 kafka-manager...
elk日志系统多种搭建流程图
wltsysterm的博客
02-14 1427
下面是个人总结出来的数条elk日志系统搭建流程图：1、log-file-->logstash-->elasticsearch-->kibana2、log-file-->firebeat-->elasticsearch-->kibana3、log-file-->firebeat-->logstash-->elasticsearch-->ki...
ELK日志管理系统图示全过程详解
企业实战系列集 ●●● https://ximenjianxue.blog.csdn.net
09-09 7433
概要 我们常说的ELK日志收集系统，完整的应该称为：ELK Stack是软件集合Elasticsearch、Logstash、Kibana的简称，它们都是开源软件,目前称为：Elastic Stack，其是ELK Stack 在 5.0 版本加入 Beats 套件后的新称呼。新增得FileBeat，它是一个轻量级的日志收集处理工具(Agent)，Filebeat占用资源少，适合于在各个服务器上搜集..................
ELK企业级日志分析系统概述及部署（图文详解）
weixin_51613313的博客
03-05 829
主机 操作系统 IP地址 软件 node1 Centos7.4 192.168.153.10 Elasticsearch Kibana node2 Centos7.4 192.168.153.20 Elasticsearch apache Centos7.4 192.168.153.30 Logstash Apache 宿主机 Windows 192.168.153.1 ①关闭防火墙及安全机制 systemctl stop firewalld.service seten...
elk5.6集群搭建部署
最新发布
01-31
它们共同构成了一个强大的日志分析解决方案。 首先，我们需要搭建Elasticsearch集群。Elasticsearch是一款面向大规模数据的分布式搜索和分析引擎。我们可以通过下载并解压Elasticsearch的安装包，然后配置集群的...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值