日志分析系统ELK！

最新推荐文章于 2024-07-19 13:23:39 发布
最新推荐文章于 2024-07-19 13:23:39 发布
阅读量127 收藏 1
点赞数 1
文章标签： elk
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_55496718/article/details/119670019
版权

ELK

ELK基础知识

概述：ELK是一种开源的实时日志分析系统，它能通过日志分析来帮助发现问题，解决系统故障，它由ElasticSearch（ES）、Logstash和Kibana组成

ELK组成

  • ES：对logstash格式化的数据进行索引和存储
  • logstash：收集日志、过滤、格式化，传输到ES上（如果是高并发则可以用filebeat工具来进行日志的收集）
  • Kibana：展示日志分析结果

ELK处理步骤

  • 通过logstash将日志收集，并格式化传输到ES上存储
  • ES对格式化的数据进行索引和存储
  • 通过Kibana来展示使用者观察

Elasticsearch核心知识

  • 接近实时：它有索引标识数据，搜索的过着只有轻微的延迟（通常1秒）
  • 集群：ES具有集群机制，节点通过集群名加入到集群中，同时在集群中的节点会有一个自己的唯一身份标识
  • 索引：这里的索引有点类似于关系型数据库中的库，它由一个拥有积分相似特征的文档的集合，索引名必须小写字母标识
  • 文档：一个文档是一个可被索引的基础信息单元，
  • 类型：在一个索引中，可以定义一种或多种类型，它是索引上的一个逻辑分类或分区，类似于关系型数据库中的表
  • 分片和分片副本：分片是防止数据过大不易存储在单个节点，影响搜索，它提高性能和吞吐量，进行水平分割拓展，增大存储量，分片副本是放在单个分片或节点故障，丢失数据，它增加了冗余性，高可用性，默认情况下，ES每个索引被分片5个主分片和一个副本

部署ELK日志分析系统

设备准备：

  • ES服务器：node1 ，软件，Elasticsearch，Kibana，192.168.118.11
  • ES服务器，node2，软件，Elasticsearch，192.168.118.22
  • Logstash服务器，node3，软件，Logstash，Apache，192.168.118.33

配置ES环境

  • 配置JDK环境
    node1：
[root@node1 opt]# vim /etc/hosts
192.168.118.11 node1
192.168.118.22 node2
[root@node1 opt]# tar zxvf jdk-8u91-linux-x64.tar.gz -C /usr/local
[root@node1 opt]# vim /etc/profile			#修改配置文件
export JAVA_HOME=/usr/local/jdk
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH
[root@node1 ~]# source /etc/profile

node2：

[root@node2 opt]# vim /etc/hosts
192.168.118.11 node1
192.168.118.22 node2
[root@node2 opt]# tar zxvf jdk-8u91-linux-x64.tar.gz -C /usr/local
[root@node2 opt]# vim /etc/profile			#修改配置文件
export JAVA_HOME=/usr/local/jdk
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH
[root@node2 jdk]# source /etc/profile
  • 部署Elasticsearch（node1和node2节点部署一样，node2改下节点名称即可）
node1：
[root@node1 opt]# rpm -ivh elasticsearch-5.5.0.rpm 
[root@node1 opt]# systemctl daemon-reload 				#加载后台进程
[root@node1 opt]# systemctl enable elasticsearch.service 		#开启elasticsearch
Created symlink from /etc/systemd/system/multi-user.target.wants/elasticsearch.service to /usr/lib/systemd/system/elasticsearch.service.
[root@node1 opt]# cd /etc/elasticsearch/
[root@node1 elasticsearch]# cp elasticsearch.yml elasticsearch.yml.bak		
[root@node1 elasticsearch]# vim elasticsearch.yml			#修改配置文件

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

[root@node1 elasticsearch]# grep -v "^#" /etc/elasticsearch/elasticsearch.yml		#查看配置结果是否成功
cluster.name: my-elk-cluster
node.name: node1
path.data: /data/elk_data
path.logs: /var/log/elasticsearch
bootstrap.memory_lock: false
network.host: 0.0.0.0
http.port: 9200
discovery.zen.ping.unicast.hosts: ["node1", "node2"]
[root@node1 elasticsearch]# mkdir -p /data/elk_data			#创建数据存放目录
[root@node1 elasticsearch]# chown elasticsearch:elasticsearch /data/elk_data/	#给予属主、组
[root@node1 elasticsearch]# ll -d /data/elk_data/
drwxr-xr-x. 2 elasticsearch elasticsearch 6 8月  14 10:55 /data/elk_data/
[root@node1 elasticsearch]# systemctl start elasticsearch.service 
[root@node1 elasticsearch]# netstat -antp | grep 9200
tcp6       0      0 :::9200                 :::*                    LISTEN      81615/java
  • 在浏览器上查看

在这里插入图片描述

  • 查看集群健康状态,两个节点正常运行

在这里插入图片描述

  • 查看集群状态信息
    在这里插入图片描述
  • 安装各种工具，以方便查看浏览器

node1和node2配置一样：

##安装node组件依赖包
[root@node1 opt]# tar xzvf node-v8.2.1.tar.gz 
[root@node1 node-v8.2.1]# yum -y install gcc gcc-c++ make
[root@node1 opt]# cd node-v8.2.1/
[root@node1 node-v8.2.1]# ./configure
[root@node1 node-v8.2.1]# make -j3
[root@node1 node-v8.2.1]# make install

##安装phantomjs前端框架
[root@node1 node-v8.2.1]# cd /usr/local/src/			#将软件包下载到此目录然后解压
[root@node1 src]# tar xjvf phantomjs-2.1.1-linux-x86_64.tar.bz2 
[root@node1 src]# cd phantomjs-2.1.1-linux-x86_64/bin
[root@node1 bin]# cp phantomjs /usr/local/bin

##安装elasticsearch-head
[root@node1 src]# cd /usr/local/src
[root@node1 src]# tar xzvf elasticsearch-head.tar.gz 
[root@node1 src]# cd elasticsearch-head/
[root@node1 elasticsearch-head]# npm install

##修改主配置文件
[root@node1 elasticsearch-head]# vim /etc/elasticsearch/elasticsearch.yml
#在末尾添加
http.cors.enabled: true					#开启跨域访问支持，默认为false
http.cors.allow-origin: "*" 			#跨域访问允许的域名地址
[root@node1 elasticsearch-head]# systemctl restart elasticsearch.service	#重启服务
[root@node1 elasticsearch-head]# netstat -antp | grep 9200
tcp6       0      0 :::9200                 :::*                    LISTEN      128499/java 

##启动elasticsearch-head服务器
[root@node1 elasticsearch-head]# npm run start &			#让head在后台运行
[1] 128588
[root@node1 elasticsearch-head]# netstat -antp | grep 9100
tcp        0      0 0.0.0.0:9100            0.0.0.0:*               LISTEN      128598/grunt

  • 在浏览器上查看
    在这里插入图片描述

  • 在node1上创建一个索引

[root@node1 elasticsearch-head]# curl -XPUT 'localhost:9200/index-demo/test/1?pretty&pretty' -H 'content-Type: application/json' -d '{"user":"zhangsan","mesg":"hello world"}'
{
  "_index" : "index-demo",
  "_type" : "test",
  "_id" : "1",
  "_version" : 1,
  "result" : "created",
  "_shards" : {
    "total" : 2,
    "successful" : 2,
    "failed" : 0
  },
  "created" : true
}

  • 刷新浏览器查看
    在这里插入图片描述

  • 查看索引信息
    在这里插入图片描述

部署apache服务器，安装Logstash

[root@appche ~]# yum install -y httpd
[root@appche ~]# systemctl start httpd

##部署Java环境
[root@appche opt]# tar zxvf jdk-8u91-linux-x64.tar.gz -C /usr/local
[root@appche opt]# cd /usr/local
[root@appche local]# ls
bin  etc  games  include  jdk1.8.0_91  lib  lib64  libexec  sbin  share  src
[root@appche local]# mv jdk1.8.0_91/ jdk
[root@appche opt]# vim /etc/profile
export JAVA_HOME=/usr/local/jdk
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH
[root@appche opt]# cd /opt
[root@appche opt]# rpm -ivh logstash-5.5.1.rpm 
[root@appche opt]# ln -s /usr/share/logstash/bin/logstash /usr/local/bin/
[root@appche opt]# cd /usr/local
[root@appche local]# ls
bin  etc  games  include  jdk1.8.0_91  lib  lib64  libexec  sbin  share  src
[root@appche local]# mv jdk1.8.0_91/ jdk
[root@appche opt]# systemctl start logstash.service 
[root@appche opt]# systemctl enable logstash.service 
Created symlink from /etc/systemd/system/multi-user.target.wants/logstash.service to /etc/systemd/system/logstash.service.

##输入标准输出
[root@appche ~]# logstash -e 'input { stdin{} } output { stdout{} }'
…………………………
www.baidu.com 									#输入百度网址
2021-08-14T12:21:46.662Z appche www.baidu.com

##使用rubydebug显示详细输出
[root@appche ~]# logstash -e 'input { stdin{} } output { stdout{ codec=>rubydebug} }'
…………………………
www.baidu.com									#输入百度网站查看
{
    "@timestamp" => 2021-08-14T12:24:31.885Z,
      "@version" => "1",
          "host" => "appche",
       "message" => "www.baidu.com"
}


##使用logstash将信息写入ES数据库中
[root@appche ~]# logstash -e 'input { stdin{} } output { elasticsearch { hosts=>["192.168.118.11:9200"] } }'
………………………………
20:28:12.680 [Api Webserver] INFO  logstash.agent - Successfully started Logstash API endpoint {:port=>9600}
www.baidu.com 						#输入内容
www.google.com.cn					#输入内容
  • 刷新浏览器查看会发现有新的logstash信息
    在这里插入图片描述
  • 在apache上做对接配置，收集系统日志
[root@appche ~]# chmod o+r /var/log/messages
[root@appche ~]# cd /etc/logstash/conf.d/
[root@appche conf.d]# vim system.conf
input {
        file{
        path => "/var/log/messages"
        type => "system"
        start_position => "beginning"
            }
        }
output {
        elasticsearch {
        hosts => ["192.168.118.11:9200"]
        index => "system-%{+YYYY.MM.dd}"
                }

        }
[root@appche conf.d]# systemctl restart logstash.service 		#重启logstash
  • 查看网页

在这里插入图片描述

部署Kibana

  • 这里直接在ES服务器上安装Kibana
[root@node1 opt]# rpm -ivh kibana-5.5.1-x86_64.rpm 
[root@node1 opt]# cd /etc/kibana/
[root@node1 kibana]# cp kibana.yml kibana.yml.bak
[root@node1 kibana]# vim kibana.yml						#修改配置文件

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

[root@node1 kibana]# systemctl start kibana.service 			#开启Kibana
[root@node1 kibana]# systemctl enable kibana.service 
Created symlink from /etc/systemd/system/multi-user.target.wants/kibana.service to /etc/systemd/system/kibana.service.
  • 在浏览器上查看
    在这里插入图片描述

在这里插入图片描述

  • 在Kibana上输入索引查看
    在这里插入图片描述
handsomeboy-东
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
强大的ELK日志分析系统！
guguai7的博客
08-16 4348
ELK日志分析系统一.ELK日志分析系统简介1.日志服务器的优缺点2.ELK简介3.Logstash管理包含四种工具4.elk工作原理二.Elasticsearch介绍三.Elasticsearch的基础核心概念：1.接近实时（NRT）2.集群（cluster）3.节点（node）4.索引（index）5.类型（type）6.文档（document）7.分片和副本（shards & replicas）四.logstash介绍1.logStash的主要组件:2.LogStash主机分类：五.Kiban
ELK日志分析系统
热门推荐
ruocheng6的博客
04-26 1万+
1、ELK日志分析系统
ELK日志分析工具
zhouziyu00的博客
07-19 1285
ELK 概述 一、ELK简介 1ELK平台由ElasticSearch、Logstash 和 Kiabana 三个开源工具组成 1，ElasticSearch：是基于Lucene（一个全文检索引擎的架构）开发的分布式存储检索引擎，用来存储各类日志。 优点是能对大容量的数据进行接近实时的存储、搜索和分析操作。 2，Logstash：作为数据收集引擎。一款强大的数据处理工具， 可以实现数据传输、格式处理、格式化输出。 3，Kiabana：是基于 Node.js 开发的展示工具，可以为 Logstash
Docker容器搭建ELK日志分析系统
weixin_73059729的博客
06-04 589
如果报错了可以直接问就好，包解决，Docker容器搭建ELK日志分析系统。
ELK：日志分析系统概述
一两风的博客
10-10 1491
ELK是三个软件的统称，即Elasticsearch、Logstash和Kibana三个开源软件的缩写。这三款软件都是开源软件，通常配合使用，并且都先后归于Elastic.co企业名下，故被简称为ELK协议栈。ELK主要用于部署在企业架构中，收集多台设备上多个服务的日志信息，并将其统一整合后提供给用户。它可以从任何来源、任何格式进行日志搜索、分析与可视化展示。ELK官网网址如下：https://www.elastic.co/cn/。提供了一个分布式多用户能力的全文搜索引擎。
ELk日志分析系统搭建
@chenk的博客
05-17 5682
一、什么是ELK ​ ELK是Elasticsearch + Logstash + Kibana 这种架构的简写. ​ 这是一种日志分析平台的架构. 如果没有ELK这样的日志分析平台,我们同样可以使用shell三剑客(grep、sed、awk)来分析日志。 这种方式略显原始而简陋，虽然也能应对大多数的场景，但是当日志量变大，分析频繁的时候，仅靠人工shell 的方式来查看分析日志，就很不方便。 尤其适当使用者，对于shell不是很擅长的情况下，一个操作简单，配置方便的日志分析平台，就显得很有必要了。
ELK日志分析系统搭建
qq_34964197的博客
08-14 297
ELK日志分析系统概述 ELK是Elasticsearch、Logstash、Kibana的简称 Elasticsearch是实时全文搜索和分析引擎 Logstash是一个用来搜集、分析、过滤日志的工具 Kibana是一个基于Web的图形界面，用于搜索、分析和可视化存储在 Elasticsearch指标中的日志数据。 日志服务器： 提高安全性 集中存放日志 缺陷：对日志的分析困难 ELK日志分析系统： 收集数据：LogstashAgent 建立索引：ElasticSearchClust...
ELK日志监控分析系统
LK1024zzZ的博客
03-11 1104
那么，ELK 到底是什么呢？“ELK”是三个开源项目的首字母缩写，这三个项目分别是：Elasticsearch、Logstash 和 Kibana。Elasticsearch 是一个搜索和分析引擎。Logstash 是服务器端数据处理管道，能够同时从多个来源采集数据，转换数据，然后将数据发送到诸如 Elasticsearch 等“存储库”中。Kibana 则可以让用户在 Elasticsearch 中使用图形和图表对数据进行可视化。Elastic Stack 是 ELK Stack 的更新换代产品。
搭建ELK日志分析系统详解
weixin_45116475的博客
10-13 664
日志分析是我们运维解决系统故障、发现问题的主要手段。为了可以集中管理多台服务器的日志记录，开源实时日志分析ELK平台应用而生，ELK由Elasticsearch、Logstash和Kibana三个开源工具组成，这三个工具可以分别部署在不同的服务器上，并且相互关联，不过需要收集哪台服务器的日志，就必须在该服务器上部署Logstash。ELK的官网是：https://www.elastic.co/cn...
ELK、ELFK 日志分析系统
这里没有简介
05-24 1156
输入采用标准输入，输出采用标准输出（类似管道）#执行 ctrl+c 退出#使用 rubydebug 输出详细格式显示，codec 为一种编解码器#使用 Logstash 将信息写入 Elasticsearch 中结果不在标准输出显示，而是发送至 Elasticsearch 中，可浏览器访问 http://172.168.1.11:9100/ 查看索引信息和数据浏览。Logstash 配置文件基本由三部分组成：input、output 以及 filter（可选，根据需要选择使用）。
快速搭建ELK日志分析系统
01-27
ELK是Elasticsearch、Logstash、Kibana的简称，这三者是核心套件，但并非全部。...它支持几乎任何类型的日志，包括系统日志、错误日志和自定义应用程序日志。它可以从许多来源接收日志，这些来源包
采用ELK搭建日志分析系统.docx
10-13
本文将详细介绍如何使用ELK搭建日志分析系统。 首先，我们从基础开始，Elasticsearch是一个分布式、RESTful风格的搜索和数据分析引擎，用于存储和检索大量数据。确认Elasticsearch是否正常运行，可以通过在命令行...
ELK企业级日志分析系统资源
05-15
ELK企业级日志分析系统是一种广泛应用于现代企业的日志管理和分析解决方案，它由三个主要组件构成：Elasticsearch、Logstash和Kibana。这三个工具的组合为收集、处理、存储、搜索和可视化大量日志数据提供了强大的...
ELK日志收集之多文件提取文件名和日志时间
weixin_37985149的博客
07-19 260
需求：多个设备的日志同时保存在一台服务器上，日志文件的文件名是设备的ID，需要将多个文件提取文件名作为最终的筛选字段，同时提取日志中的时候日期时间替换系统的@timestamp。使用kibana的开发工具获取一下对应index的结果看下是否有想要的字段传过来。以上便完成了多个设备日志上传以及设备日志筛选，欢迎大家指正。
【ELK+Kafka+filebeat分布式日志收集】分布式日志收集详解
阿杰
07-17 928
分布式日志收集是一种用于在分布式系统中收集、聚合、存储和分析日志数据的技术。随着系统规模的扩大和分布式架构的普及，单节点的日志收集和处理方案已经难以满足需求。因此，分布式日志收集系统应运而生。
【ELK】简述
最新发布
言之。
07-19 1006
大规模日志管理与分析随着系统规模的扩大，应用程序、服务器和网络设备会产生大量的日志数据。ELK 堆栈可以集中收集、存储和索引这些分散在不同服务器和系统中的日志，方便快速检索和分析，帮助您快速定位系统故障、异常事件和性能瓶颈。例如，当一个线上服务出现错误时，您可以通过搜索相关的日志信息，快速确定错误发生的时间、来源和相关上下文，以便快速解决问题。实时监控与告警您可以基于 ELK 堆栈设置实时监控规则和指标，对系统的关键性能指标（如响应时间、错误率、流量等）进行实时监测。
日志之ELK使用讲解
上善若泪
07-18 790
ELK是一个开源的实时日志分析平台，它主要由Elasticsearch、Logstash 和 Kibana三部分组成。在ELK中，三大组件的大概工作流程如下图所示，由Logstash从各个服务中采集日志并存放至中，然后再由Kiabana从中查询日志并展示给终端用户。
ELK kibana查询与过滤
CSDN_of_ding的博客
07-18 312
ELK kibana查询与过滤 1、通过布尔操作符 AND 、 OR 和 NOT 来指定更多的搜索条件(注意：这AND、OR、NOT必须大写)。例如，搜索message包含服务层关键词并且日志级别为INFO的条目，您可以输入 message:“服务层” AND level:“INFO”。 2、要搜索一个确切的字符串，需要使用双引号引起来。如果不带引号，将会匹配每个单词。
ELK日志分析系统详解：构建与应用步骤
ELK日志分析系统是一种流行的解决方案，用于集中管理和分析企业日志数据，它由Elasticsearch、Logstash和Kibana三个开源工具组成。这个系统在IT行业中被广泛应用于监控、故障排查和性能优化。 1. **ELK平台架构** ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值