ELK日志分析

最新推荐文章于 2024-06-16 05:34:45 发布
最新推荐文章于 2024-06-16 05:34:45 发布
阅读量1.6k 收藏 1
点赞数 1
文章标签： mysql 数据库 elk
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Guiled7/article/details/123215218
版权

ELK日志分析

一、ELK 简介

ELK平台是一套完整的日志集中处理解决方案，将 ElasticSearch、Logstash 和 Kiabana 三个开源工具配合使用， 完成更强大的用户对日志的查询、排序、统计需求。

  • ElasticSearch：是基于Lucene（一个全文检索引擎的架构）开发的分布式存储检索引擎，用来存储各类日志。
    Elasticsearch 是用 Java 开发的，可通过 RESTful Web 接口，让用户可以通过浏览器与 Elasticsearch 通信。
    Elasticsearch是一个实时的、分布式的可扩展的搜索引擎，允许进行全文、结构化搜索，它通常用于索引和搜索大容量的日志数据，也可用于搜索许多不同类型的文档。

  • Kiabana：Kibana 通常与 Elasticsearch 一起部署，Kibana 是 Elasticsearch 的一个功能强大的数据可视化 Dashboard，Kibana 提供图形化的 web 界面来浏览 Elasticsearch 日志数据，可以用来汇总、分析和搜索重要数据。

  • Logstash：作为数据收集引擎。它支持动态的从各种数据源搜集数据，并对数据进行过滤、分析、丰富、统一格式等操作，然后存储到用户指定的位置,一般会发送给 Elasticsearch。
    Logstash 由 Ruby 语言编写，运行在 Java 虚拟机（JVM）上，是一款强大的数据处理工具， 可以实现数据传输、格式处理、格式化输出。Logstash 具有强大的插件功能，常用于日志处理。

#可以添加的其它组件：

  • Filebeat：轻量级的开源日志文件数据搜集器。通常在需要采集数据的客户端安装 Filebeat，并指定目录与日志格式，Filebeat 就能快速收集数据，并发送给 logstash 进行解析，或是直接发给 Elasticsearch 存储，性能上相比运行于 JVM 上的 logstash 优势明显，是对它的替代。常应用于 EFLK 架构当中。

#filebeat 结合 logstash 带来好处：

1、通过 Logstash 具有基于磁盘的自适应缓冲系统，该系统将吸收传入的吞吐量，从而减轻 Elasticsearch 持续写入数据的压力

2、从其他数据源（例如数据库，S3对象存储或消息传递队列）中提取

3、将数据发送到多个目的地，例如S3，HDFS（Hadoop分布式文件系统）或写入文件

4、使用条件数据流逻辑组成更复杂的处理管道

  • 缓存/消息队列（redis、kafka、RabbitMQ等）：可以对高并发日志数据进行流量削峰和缓冲，这样的缓冲可以一定程度的保护数据不丢失，还可以对整个架构进行应用解耦。

  • Fluentd：是一个流行的开源数据收集器。由于 logstash 太重量级的缺点，Logstash 性能低、资源消耗比较多等问题，随后就有 Fluentd 的出现。相比较 logstash，Fluentd 更易用、资源消耗更少、性能更高，在数据处理上更高效可靠，受到企业欢迎，成为 logstash 的一种替代方案，常应用于 EFK 架构当中。在 Kubernetes 集群中也常使用 EFK 作为日志数据收集的方案。
    在 Kubernetes 集群中一般是通过 DaemonSet 来运行 Fluentd，以便它在每个 Kubernetes 工作节点上都可以运行一个 Pod。 它通过获取容器日志文件、过滤和转换日志数据，然后将数据传递到 Elasticsearch 集群，在该集群中对其进行索引和存储。

二、ELK优缺点

  • 优点
    提高安全性
    集中化管理
  • 缺点
    对日志分析困难

日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因。经常分析日志可以了解服务器的负荷，性能安全性，从而及时采取措施纠正错误。
往往单台机器的日志我们使用grep、awk等工具就能基本实现简单分析，但是当日志被分散的储存不同的设备上。如果你管理数十上百台服务器，你还在使用依次登录每台机器的传统方法查阅日志。这样是不是感觉很繁琐和效率低下。当务之急我们使用集中化的日志管理，例如：开源的syslog，将所有服务器上的日志收集汇总。集中化管理日志后，日志的统计和检索又成为一件比较麻烦的事情，一般我们使用 grep、awk和wc等Linux命令能实现检索和统计，但是对于要求更高的查询、排序和统计等要求和庞大的机器数量依然使用这样的方法难免有点力不从心。
一般大型系统是一个分布式部署的架构，不同的服务模块部署在不同的服务器上，问题出现时，大部分情况需要根据问题暴露的关键信息，定位到具体的服务器和服务模块，构建一套集中式日志系统，可以提高定位问题的效率。

三、完整日志系统基本特征

收集：能够采集多种来源的日志数据
传输：能够稳定的把日志数据解析过滤并传输到存储系统
存储：存储日志数据
分析：支持 UI 分析
警告：能够提供错误报告，监控机制

四、ELK工作过程

  1. 在所有需要收集日志的服务器上部署Logstash；或者先将日志进行集中化管理在日志服务器上，在日志服务器上部署 Logstash。

  2. Logstash 收集日志，将日志格式化并输出到 Elasticsearch 群集中。

  3. Elasticsearch 对格式化后的数据进行索引和存储。

  4. Kibana 从 ES 群集中查询数据生成图表，并进行前端数据的展示。

总结：logstash作为日志搜集器，从数据源采集数据，并对数据进行过滤，格式化处理，然后交由Elasticsearch存储，kibana对日志进行可视化处理。

五、ELK日志分析系统部署

  1. 环境配置
主机操作系统IP地址安装包 / 软件 / 工具
node1CentOS7192.168.86.10Elasticsearch
node2CentOS7192.168.86.20Elasticsearch
apacheCentOS7192.168.86.30httpd / Logstash
真机Windows192.168.86.100——

所有节点关闭防火墙

systemctl stop firewalld.service
setenforce 0

node1（192.168.86.10）

hostnamectl set-hostname node1
su -

node2（192.168.86.20）

hostnamectl set-hostname node2
su -

apache（192.168.86.30）

hostnamectl set-hostname apache
su -
  1. 配置elasticsearch环境（node1、node2）
echo '192.168.86.10 node1' >> /etc/hosts
echo '192.168.86.20 node2' >> /etc/hosts

	
cd /opt
rz elasticsearch-5.5.0.rpm

rpm -ivh elasticsearch-5.5.0.rpm

systemctl daemon-reload
systemctl enable elasticsearch.service

在这里插入图片描述

在这里插入图片描述

cp /etc/elasticsearch/elasticsearch.yml /etc/elasticsearch/elasticsearch.yml.bak

vim /etc/elasticsearch/elasticsearch.yml

==17==
cluster.name: my-elk-cluster

==23==
node.name: node1						#这里node2节点设置为node2

==33==
path.data: /data/elk_data 

==37==
path.logs: /var/log/elasticsearch/

==43==
bootstrap.memory_lock: false 

==55==
network.host: 0.0.0.0

==59==
http.port: 9200

==68==
discovery.zen.ping.unicast.hosts: ["node1", "node2"]

在这里插入图片描述

grep -v "^#" /etc/elasticsearch/elasticsearch.yml

mkdir -p /data/elk_data
chown elasticsearch:elasticsearch /data/elk_data/

systemctl start elasticsearch
netstat -antp |grep 9200

在这里插入图片描述

  1. 此时可以访问查看节点信息

在这里插入图片描述

真机检测集群健康、查看集群状态

在这里插入图片描述

  1. 安装elasticsearch-head插件

node1、node2

yum -y install gcc gcc-c++ make 

cd /opt
rz node-v8.2.1.tar.gz
tar xzvf node-v8.2.1.tar.gz
cd node-v8.2.1/
./configure 
make && make install

cd /usr/local/src
rz phantomjs-2.1.1-linux-x86_64.tar.bz2

tar xjvf phantomjs-2.1.1-linux-x86_64.tar.bz2


cd phantomjs-2.1.1-linux-x86_64/bin
cp phantomjs /usr/local/bin

cd /usr/local/src/
rz elasticsearch-head.tar.gz

tar xzvf elasticsearch-head.tar.gz

cd elasticsearch-head/
npm install

vim /etc/elasticsearch/elasticsearch.yml
==末行插入==
http.cors.enabled: true
http.cors.allow-origin: "*"

systemctl restart elasticsearch

cd /usr/local/src/elasticsearch-head/
npm run start &

netstat -lnupt |grep 9100
netstat -lnupt |grep 9200

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

真机上打开浏览器输入

http://192.168.86.10:9100 
http://192.168.86.20:9100
#在Elasticsearch 后面的栏目中输入
http://192.168.86.10:9200   
http://192.168.86.20:9200

在这里插入图片描述

在这里插入图片描述

node1

索引为index-demo,类型为test,可以看到成功创建

curl -XPUT 'localhost:9200/index-demo/test/1?pretty&pretty' -H 'content-Type: application/json' -d '{"user":"zhangsan","mesg":"hello world"}'

在这里插入图片描述

真机访问，查看

在这里插入图片描述

  1. 安装logstash

安装logstash并做一些日志搜集输出到elasticsearch中

apache

yum -y install httpd
systemctl start httpd

cd /opt
rz logstash-5.5.1.rpm 

rpm -ivh logstash-5.5.1.rpm   

systemctl start logstash.service     
systemctl enable logstash.service

在这里插入图片描述

ln -s /usr/share/logstash/bin/logstash /usr/local/bin/

logstash -e 'input { stdin{} } output { stdout{} }'

在这里插入图片描述

logstash -e 'input { stdin{} } output { stdout{ codec=>rubydebug } }'

Logstash API endpoint {:port=>9600}

在这里插入图片描述

[root@apache opt]# logstash -e 'input { stdin{} } output { elasticsearch { hosts=>["192.168.86.10:9200"] } }'

Logstash API endpoint {:port=>9600}
www.baidu.com                     ###输入内容
www.sina.com.cn                   ###输入内容
www.google.com.cn                 ###输入内容
Ctrl c

真机访问，查看索引信息

在这里插入图片描述

2、apache做对接配置

chmod o+r /var/log/messages
ll /var/log/messages

vim /etc/logstash/conf.d/system.conf 
input {
       file{
        path => "/var/log/messages"
        type => "system"
        start_position => "beginning"
        }
      }
output {
        elasticsearch {
          hosts => ["192.168.86.10:9200"]
          index => "system-%{+YYYY.MM.dd}"
          }
        }

在这里插入图片描述

在这里插入图片描述

真机查看索引信息

在这里插入图片描述

  1. 在node1主机安装kibana
cd /usr/local/src/
rz kibana-5.5.1-x86_64.rpm

rpm -ivh kibana-5.5.1-x86_64.rpm

cd /etc/kibana/
cp kibana.yml kibana.yml.bak

vim kibana.yml
2/ server.port: 5601               		 				#kibana打开的端口
7/ server.host: "0.0.0.0"          						#kibana侦听的地址
21/ elasticsearch.url: "http://192.168.184.10:9200"     #和elasticsearch建立联系
30/ kibana.index: ".kibana"              				#在elasticsearch中添加.kibana索引

systemctl start kibana.service 
systemctl enable kibana.service

在这里插入图片描述

在这里插入图片描述

真机访问

192.168.86.10:5601
#首次登录创建一个索引 名字：system-* 这是对接系统日志文件
#然后点最下面的出面的create 按钮创建
#然后点最左上角的Discover按钮 会发现system-*信息
#然后点下面的host旁边的add 会发现右面的图只有 Time 和host 选项了 这个比较友好

在这里插入图片描述

在这里插入图片描述

Guiled7
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
快速搭建ELK日志分析系统
01-27
ELK是Elasticsearch、Logstash、Kibana的简称，这三者是核心套件，但并非全部。Elasticsearch是实时全文搜索和分析引擎，提供搜集、分析、存储数据三大功能；是一套开放REST和JAVA API等结构提供高效搜索功能，可扩展的分布式系统。它构建于ApacheLucene搜索引擎库之上。Logstash是一个用来搜集、分析、过滤日志的工具。它支持几乎任何类型的日志，包括系统日志、错误日志和自定义应用程序日志。它可以从许多来源接收日志，这些来源包
Centos7下搭建ELK日志分析系统
11-02
本文档记录了个人在centos7环境下搭建ELK日志分析系统的步骤及遇到的问题、处理记录。明细罗列了本次搭建的系统环境和软件版本，操作系统为centos7.6,elk对应版本为7.9.3, redis版本为6.0.6。受限于更明细的环境差别，安装过程中报错可能不尽相同，主要记录了ELK各组件软件的安装步骤，供各位有需要的人参考！！！
ELK日志分析平台（L） logstash数据采集
thermal_life的博客
06-11 1950
elk 的第二组件 logstash ，看前请先参考第一篇 es 的实战配置 https://blog.csdn.net/thermal_life/article/details/106646727
spring Boot logback的使用与配置
别浪
06-19 722
什么是日志 能够描述系统运行行状态的所有时间都可以算作日志 --> 用户下线 接口超时 数据库崩溃 什么是日志框架 是一套实现日志输出的工具包 日志框架的能力 定制输出目标 定制输出格式 日志框架的选择 携带上下文信息 (类路径、时间戳、线程、调用对象等等) 运行选择性输出 灵活的配置 优异的性能 常见日志框架 JCL、jboos-logging、Log4j、L...
干货 | ELK 日志实时分析实战
铭毅天下Elasticsearch
07-12 2939
0、问题来源1、日志实时分析是 Elasticsearch 三大核心业务场景之一Elasticsearch架构选型指南——不止是搜索引擎，还有......曾强调：Elasticsearch...
ELK分布式日志系统的搭建以及使用
qq_40184563的博客
02-23 681
ELK的组成 ELK是elasticsearch、logstash、kibana三个开源框架的首字母简写，logstash负责采集日志文件并写入elasticsearch集群，kibana是从elasticsearch集群快速查询日志的客户端； 下载准备 下载elasticsearch,https://www.elastic.co/cn/downloads/elasticsearch; 下载no...
ELK日志分析系统
04-30
进行日志处理分析，一般需要经过一下几步： （1）将日志进行集中化管理 （2）将日志格式化（Logstash）并输出到Elasticsearch （3）对格式化后的数据进行索引和存储（Elasticsearch） （4）前端数据的展示（Kibana）
ELK日志分析系统搭建
05-01
ELK(Elasticsearch、Logstash和Kibana) 日志分析 系统搭建
ELK日志分析系统.pptx
01-04
ELK Stack 日志分析系统 ELK Stack 是一个开源的日志分析系统，由 Elasticsearch、Logstash 和 Kibana 三个组件组成。该系统能够实时地收集、存储和分析日志数据，并提供可视化的查询和分析功能。 ELK Stack 的...
elasticsearch定期删除策略 - 日志分析系统ELK搭建
bsegebr的博客
08-16 1580
max file descriptors，root用户下修改配置文件vim /etc/security/limits.conf，将soft nofile和hard nofile的值全部改为65536，保存推出，重新登录。ES进程死亡，如果是logstash indexer写入的机器ES进程死亡，会导致数据无法存入ES，但不清楚redis中的数据能否被正常消耗。集群配置完毕后，集群间的数据是共享的。可以在同一台机器上的不同节点配置集群，也可以在不同机器上配置集群，测试中采用的是后一种方式。...
ELK日志排序混乱
luoqinglong的专栏
11-10 3548
1、现象 环境使用的是7.4,filebeat,kafka,logstash,es 排序字段是@timestamp，由于是filebeat批量收集提交的，所以该字段的值是一样的。而右边message中的日志没有按照log打印的时间排序，有部分时间的日志在中间，如下图 2、分析 @timestamp字段是经过filebeat处理时添加的，可以通过修改filebeat配置文件，把收集后的日志输出到本地文件，可以看出来多了时间字段。 3、解决方案 这里采用logstash重写@timesta.
ELK分析系统的搭建
weixin_55609833的博客
07-19 470
ELK企业级日志分析系统一、ELK概述1.ELK简介2.为什么要使用ELK3.完整日志系统基本特征4.ELK的工作原理:ELK部署ELK Elasticsearch 集群部署（在Node1、Node2节点上操作）1．环境准备2．部署 Elasticsearch 软件(1)安装elasticsearch—rpm包(2)加载系统服务(3)修改elasticsearch主配置文件(4)创建数据存放路径并授权(5)启动elasticsearch是否成功开启(6)查看节点信息安装 Elasticsearch-head
【linux】ELK日志分析
qq_35302220的博客
12-12 609
【linux】ELK日志分析
使用消息队列（MQ）实现MySQL持久化存储与MySQL server has gone away问题解决
最新发布
qq_33665793的博客
06-16 539
而其中一个常见的需求是将消息队列中的数据持久化到数据库中，以确保数据的安全性和可靠性。通过使用消息队列（MQ）将消息持久化存储到MySQL数据库，我们可以提高系统的可靠性和可维护性。它提供了可靠的事务支持和高性能的查询功能。2. 数据可靠性：通过将消息队列中的数据存储到MySQL数据库中，可以确保消息被可靠地处理和传递给消费者。4. 消息消费：编写一个消费者程序，从MQ的队列中获取消息，并将消息存储到MySQL数据库中。5. 消息确认：在成功将消息存储到数据库后，向MQ发送消息确认，告知MQ消息已被处理。
ELK日志分析系统的工作原理
02-28
ELK日志分析系统是由三个主要组件组成的：Elasticsearch、Logstash 和 Kibana。 1. Elasticsearch 是一个开源搜索引擎，它能够存储和查询大量的日志数据。 2. Logstash 是一个数据收集和处理工具，它能够从多个...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值