ELK日志分析系统讲解

最新推荐文章于 2022-03-03 11:25:07 发布
最新推荐文章于 2022-03-03 11:25:07 发布
阅读量340 收藏 1
点赞数
文章标签： elk
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_55905026/article/details/119725377
版权

ELK日志分析系统

ELK日志分析系统简介

日志服务器介绍

优点：

  • 提高安全性
  • 集中存放日志

缺点：

  • 对日志的分析困难

ELK日志分析系统

ELK组成

  • Elasticsearch: ES(nosql非关数据库)：存储功能和索引
  • Logstash(收集日志)：到应用服务器上拿取log,并进行格式转换后输出到es中
    通过input功能来收集/采集log
    filter过滤器：格式化数据
    output输出：日志输出到es数据库内
  • Kibana(展示工具)：将es内的数据在浏览器展示出来，通过UI界面展示(可以根据自己的需求对日志进行处理，方便查阅读取)

日志处理步骤

  • 1.将日志进行集中化管理
  • 2将日志格式化(Logstash）并输出到Elasticsearch
  • 3.对格式化后的数据进行索引和存储(Elasticsearch)
  • 4.前端数据的展示(Kibana) 。Ul界面展示(可以根据自己的需求对日志进行处理,方便查阅读取)

Elasticsearch的基础核心概念

1.接近实时(NRT)

elasticsearch是一个接近实时的搜索平台，这意味着，从索引一个文档直到这个文档能够被搜索到有一个轻微的延迟(通常是1秒)

2.集群(cluster)

一个集群就是由一个或多个节点组织在一起，它们共同持有整个的数据，并一起提供索引和搜索功能。其中一个节点为主节点，这个主节点是可以通过选举产生的，并提供跨节点的联合索引和搜索的功能。集群有一个唯一性标示的名字，默认是elasticsearch
集群名字很重要，每个节点是基于集群名字加入到其集群中的。因此，确保在不同环境中使用不同的集群名字。一个集群可以只有一个节点。强烈建议在配置elasticsearch时， 配置成集群模式。es 具有集群机制，节点通过集群名称加入到集群中，同时在集群中的节点会有一个自己的唯一 身份标识(自己的名称) .

3.节点(node)

节点就是一台单一的服务器，是集群的一部分，存储数据并参与集群的索引和搜索功能。像集群一样，节点也是通过名字来标识，默认是在节点启动时随机分配的字符名。当然，你可以自己定义。该名字也很重要，在集群中用于识别服务器对应的节点。

4.索引

一个索引就是一个拥有积分相似特征的文档的集合，由一个名字来标识（必须全部是小写字母），索引相对于关系型数据库的库

5.类型

在一个索引种，可以定义一种或多种类型，一个类型是索引的一个逻辑上的分类/分区，其语义完全自定义。类型相对于关系型数据库的表

6.文档

一个文档是一个可被索引的基础信息单元，文档相对于关系型数据库的列

7.分片和副本
  • 分片的主要原因
    • 1.水平分割扩展、增大存储量
    • 2.分布式并行分片操作，提高性能和吞吐量
  • 副本的主要原因
    • 1.高可用性，以应对分片或节点故障
    • 2.qps性能、增大吞吐量，搜索可以并行在所有副本上执行
    • 分片和副本的数量可以在索引创建的时候指定，在索引创建之后，可以动态地改变副本的数量，但是不能改变分片的数量

logstash介绍

1.logstash主要组件

正是由于以下组件在LogStash架构中可独立部署，才提供了更好的集群扩展性

Shipper:日志收集者

负责监控本地日志文件的变化，及时把日志文件的最新内容收集起来。通常，远程代理端(agent) 只需要运行这个组件

Indexer:日志存储者

负责接收日志并写入到本地文件

Broker:日志Hub

负责连接多个Shipper和多个Indexer

Searchandstorage

允许对事件进行搜索和存储

Web Interface

基于Web的展示界面

2.logstash主机分类
  • 代理主机(agent host) :作为事件的传递者(shipper)，将各种日志数据发送至中心主机;只需运行Logstash 代理(agent)程序;
  • 中心主机(central host) :可运行包括中间转发器(Broker)、索引器(Indexer) 、搜索和存储器(Search and Storage )、Web界面端“(Web Interface) 在内的各个组件，以实现对日志数据的接收、处理和存储

Kibana介绍

  • Kibana是一个 针对Elasticsearch的开源分析及可视化平台，用来搜索、查看交互存储在Elasticsearch索引中的数据。使用Kibana，可以通过各种图表进行高级数据分析及展示。
  • Kibana让海量数据更容易理解。它操作简单，基于浏览器的用户界面可以快速创建仪表板(dashboard) 实时显示Elasticsearch查询动态。设置Kibana非常简单。无需编写代码，几分钟内就可以完成Kibana安装并启动Elasticsearch索引监测。
主要功能:

  • 1.Elasticsearch无缝之集成。Kibana架构为Elast icsearch定制， 可以将任何结构化和非结构化数据加入Elast icsearch索引。Kibana还充分利用了Elasticsearch强大的搜索和分析功能。

  • 2.整合你的数据。Kibana能够更好地处理海量数据，并据此创建柱形图、折线图、散点图、直方图、饼图和地图。

  • 3.复杂数据分析。Kibana提升了Elasticsearch分析能力，能够更加智能地分析数据，执行数学转换并且根据要求对数据切
    割分块。

  • 4.让更多团队成员受益。强大的数据库可视化接口让各业务岗位都能够从数据集合受益。

  • 5.接口灵活，分享更容易。使用Kibana可以更加方便地创建、保存、分享数据，并将可视化数据快速交流。

  • 6.配置简单。Kibana的配置和启用非常简单，用户体验非常友好。Kibana自带Web服务器，可以快速启动运行。

  • 7.可视化多数据源。Kibana可 以非常方便地把来自Logstash、ES-Hadoop、 Beats或第三方技术的数据整合到Elasticsearch，支持的第三方技术包括Apache Flume、 Fluentd等

  • 8.简单数据导出。Kibana可以方便地导出感兴趣的数据，与其它数据集合并融合后快速建模分析，发现新结果。

ELK部署

实验环境

主机名					主要软件					IP地址
ES服务器：node1 		Elasticsearch，Kibana	192.168.220.101
ES服务器，node2		Elasticsearch			192.168.220.102
Logstash服务器		Logstash，Apache		192.168.220.103

配置ES环境

配置JDK环境
添加地址映射
node1和node2同步操作

[root@node1 ~]# vim /etc/hosts
192.168.220.101 node1
192.168.220.102 node2

解压安装jdk

[root@node1 opt]# tar zxvf jdk-8u91-linux-x64.tar.gz -C /usr/local/

[root@node1 opt]# vim /etc/profile		//插入环境
export JAVA_HOME=/usr/local/jdk1.8.0_91
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH
[root@node1 opt]# source /etc/profile

[root@node1 opt]# java -version		//查看java版本
java version "1.8.0_91"
Java(TM) SE Runtime Environment (build 1.8.0_91-b14)
Java HotSpot(TM) 64-Bit Server VM (build 25.91-b14, mixed mode)

部署elasticsearch软件

1.安装软件

上传elasticsearch-5.5.0.rpm到/opt目录下

[root@node1 opt]# rpm -ivh elasticsearch-5.5.0.rpm

2.加载系统服务

[root@node1 opt]# systemctl daemon-reload
[root@node1 opt]# systemctl enable elasticsearch.service
Created symlink from /etc/systemd/system/multi-user.target.wants/elasticsearch.service to /usr/lib/systemd/system/elasticsearch.service.

3.更改elasticsearch主配置文件

[root@node1 opt]#  cp /etc/elasticsearch/elasticsearch.yml /etc/elasticsearch/elasticsearch.yml.bak
//拷贝配置文件
[root@node1 opt]# vi /etc/elasticsearch/elasticsearch.yml
//取消以下对应行的#
17/ cluster.name: my-elk-cluster		//集群名字
23/ node.name: node1		//####节点名字
33/ path.data: /data/elk_data		//数据存放路径
37/ path.logs: /var/log/elasticsearch/		//日志存放路径
43/ bootstrap.memory_lock: false		//不在启动的时候锁定内存（前端缓存。与IOPS-性能测试方式，每秒读写次数相关）
55/ network.host: 0.0.0.0		//提供服务绑定的IP地址，0.0.0.0代表所有地址
59/ http.port: 9200		//侦听端口为9200
68/ discovery.zen.ping.unicast.hosts: ["node1", "node2"]
//集群发现通过单播实现“单播”

[root@node1 opt]# grep -v "^#" /etc/elasticsearch/elasticsearch.yml
//查看配置结果是否成功
cluster.name: my-application
node.name: node1
path.data: /data/elk_data
path.logs: /var/log/elasticsearch/
bootstrap.memory_lock: false
network.host: 0.0.0.0
http.port: 9200
discovery.zen.ping.unicast.hosts: ["node1", "node2"]

node2:
在这里插入图片描述

4.创建数据存放文件路径并授权

[root@node2 opt]# mkdir -p /data/elk_data
[root@node2 opt]# chown elasticsearch:elasticsearch /data/elk_data/
[root@node2 opt]# ll -d /data/elk_data/
drwxr-xr-x. 2 elasticsearch elasticsearch 6 8月  16 21:18 /data/elk_data/

5.启动elasticsearch是否成功开启

[root@node1 opt]# systemctl start elasticsearch.service
[root@node1 opt]# netstat -antp | grep 9200
tcp6       0      0 :::9200                 :::*                    LISTEN      20351/java

6.查看节点信息

在这里插入图片描述

查看集群状态
宿主机浏览器输入：http://192.168.220.101:9200/_cluster/state?pretty

在这里插入图片描述
查看集群是否健康
宿主机浏览器输入：http://192.168.220.101:9200/_cluster/health?pretty

在这里插入图片描述

安装elasticsearch-head插件

node1、node2同步操作
依次安装node-v8.2.1.tar.gz、phantomjs-2.1.1-linux-x86_64.tar.bz2、elasticsearch-head.tar.gz
提前上传node-v8.2.1.tar.gz到opt目录下并安装
在这里插入图片描述

安装环境依赖包

[root@node2 opt]# yum install gcc gcc-c++ make -y

编译安装

[root@node1 opt]# tar xzvf node-v8.2.1.tar.gz
[root@node1 node-v8.2.1]# ./configure
[root@node1 node-v8.2.1]# make -j3
[root@node1 node-v8.2.1]# make install

安装phantomjs

前端框架

上传软件包到/usr/local/src/

[root@node1 node-v8.2.1]# cd /usr/local/src/
[root@node1 src]# tar xjvf phantomjs-2.1.1-linux-x86_64.tar.bz2
[root@node1 src]# cd phantomjs-2.1.1-linux-x86_64/bin
[root@node1 bin]# cp phantomjs /usr/local/bin

安装elasticsearch-head

数据可视化工具

提前上传elasticsearch-head.tar.gz 到 /usr/local/src 目录下


[root@node1 src]# tar xzvf elasticsearch-head.tar.gz
[root@node1 src]# cd elasticsearch-head/
[root@node1 elasticsearch-head]# npm install

在这里插入图片描述

修改主配置文件

[root@node1 elasticsearch-head]# vim /etc/elasticsearch/elasticsearch.yml
#在末尾添加
http.cors.enabled: true					#开启跨域访问支持，默认为false
http.cors.allow-origin: "*" 			#跨域访问允许的域名地址
[root@node1 elasticsearch-head]# systemctl restart elasticsearch

启动elasticsearch-head

[root@node1 ~]# cd /usr/local/src/elasticsearch-head/
[root@node1 elasticsearch-head]# npm run start &      //切换到后台运行
[1] 121619
[root@node1 elasticsearch-head]# 
> elasticsearch-head@0.0.0 start /usr/local/src/elasticsearch-head
> grunt server

Running "connect:server" (connect) task
Waiting forever...
Started connect web server on http://localhost:9100

[root@node1 ~]# netstat -antp | grep 9100
tcp        0      0 0.0.0.0:9100            0.0.0.0:*               LISTEN      121629/grunt
[root@node1 ~]# netstat -antp | grep 9200
tcp6       0      0 :::9200                 :::*                    LISTEN      121527/java

查看 elasticsearch-head 查看可视化工具是否成功应用

在宿主机浏览器输入：http://192.168.220.101:9100/ ，在Elasticsearch 后面的栏目中输入http://192.168.220.101:9200

在这里插入图片描述
在node1上创建一个索引、类型、文档

[root@node1 ~]# curl -XPUT 'localhost:9200/index-demo/test/1?pretty&pretty' -H 'content-Type: application/json' -d '{"user":"zhangsan","mesg":"hello world"}'
{
  "_index" : "index-demo",
  "_type" : "test",
  "_id" : "1",
  "_version" : 1,
  "result" : "created",
  "_shards" : {
    "total" : 2,
    "successful" : 2,
    "failed" : 0
  },
  "created" : true
}
//修改索引时result：“updata”	created：false

刷新浏览器
在这里插入图片描述
查看索引信息
在这里插入图片描述

部署apache服务器，安装Logstash

[root@httpd ~]# yum -y install httpd
[root@httpd ~]# systemctl start httpd
[root@httpd ~]# java -version
openjdk version "1.8.0_181"
OpenJDK Runtime Environment (build 1.8.0_181-b13)
OpenJDK 64-Bit Server VM (build 25.181-b13, mixed mode

安装logstash

[root@httpd ~]# cd /opt
[root@httpd opt]# rpm -ivh logstash-5.5.1.rpm               安装logstash
[root@httpd opt]# systemctl start logstash.service          启动logstash
[root@httpd opt]# systemctl enable logstash.service         设置开机自启
[root@httpd opt]# ln -s /usr/share/logstash/bin/logstash /usr/local/bin/   建立logstash软连接

logstash 与 elasticsearch 做对接测试

测试命令：
logstash 选项介绍：

  • -f：通过这个选项可以指定logstash的配置文件，根据配置文件配置logstash
  • -e：后面跟着字符串 该字符串可以被当做logstash的配置（如果是” ”,则默认使用stdin做为输入、stdout作为输出）
  • -t：测试配置文件是否正确，然后退出

输入标准输出

[root@httpd local]# logstash -e 'input { stdin{} } output { stdout{} }'

在这里插入图片描述
在这里插入图片描述

使用rubydebug显示详细输出
在 192.168.220.103（httpd服务器）终端上输入以下内容
logstash -e ‘input { stdin{} } output { stdout{ codec=>rubydebug } }’ 此命令需要手动输入收集得内容

[root@httpd local]# logstash -e 'input { stdin{} } output { stdout{ codec=>rubydebug} }'

www.baidu.com
{
    "@timestamp" => 2021-08-16T15:01:47.138Z,
      "@version" => "1",
          "host" => "httpd",
       "message" => "www.baidu.com"
}

使用logstash将信息写入ES数据库中

[root@httpd local]# logstash -e 'input { stdin{} } output { elasticsearch { hosts=>["192.168.220.101:9200"] } }'

在这里插入图片描述
刷新浏览器
在这里插入图片描述
在这里插入图片描述

在apache上做对接配置，收集系统日志

[root@httpd local]# chmod o+r /var/log/messages 
[root@httpd local]# cd /etc/logstash/conf.d/
[root@httpd conf.d]# vim system.conf
[root@httpd conf.d]# vim system.conf

input {
        file{
        path => "/var/log/messages"
        type => "system"
        start_position => "beginning"
            }
        }
output {
        elasticsearch {
        hosts => ["192.168.220.101:9200"]
        index => "system-%{+YYYY.MM.dd}"
                }

        }

重启logstash服务

systemctl restart logstash.service

宿主机浏览器查看系统日志收集情况

在这里插入图片描述

安装kibana

在192.168.220.101（es集群node1节点）安装kibana

[root@node1 ~]# cd /usr/local/src/
[root@node1 src]# rpm -ivh kibana-5.5.1-x86_64.rpm
[root@node1 src]# cd /etc/kibana/
[root@node1 kibana]# cp kibana.yml kibana.yml.bak
[root@node1 kibana]# vim kibana.yml

修改配置文件

[root@node1 src]# cd /etc/kibana/
[root@node1 kibana]# cp kibana.yml kibana.yml.bak	//备份配置文件
[root@node1 kibana]# vim kibana.yml
2 server.port: 5601                //kibana打开的端口
7 server.host: "0.0.0.0"           //kibana侦听的地址
21 elasticsearch.url: "http://192.168.226.128:9200"             
//和elasticsearch建立联系
30 kibana.index: ".kibana"
//在elasticsearch中添加.kibana索引
[root@node1 kibana]# systemctl start kibana.service 	//启动kibana

宿主机浏览器访问 http://192.168.220.101:5601 查看是否收集到系统日志
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

XuZoVv
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
ELK日志分析
Drw_Dcm的博客
10-10 2611
ELK日志分析
ELK日志分析系统
Parhoia的博客
12-18 583
ELK日志分析系统 ELK日志分析系统简介 日志服务器 提高安全性 集中存放日志 缺陷 对日志的分析困难 收集数据：LogstashAgent 建立索引：ElasticSearchCluster 数据可视乎：KilbanaServer 简单的结果拓扑 ELK日志分析系统 Elasticsearch 是实时全文搜索和分析引擎 Logstash 是一个用来搜集、分析、过滤日志的工具 ...
ELK分析系统的搭建
weixin_55609833的博客
07-19 519
ELK企业级日志分析系统一、ELK概述1.ELK简介2.为什么要使用ELK3.完整日志系统基本特征4.ELK的工作原理:ELK部署ELK Elasticsearch 集群部署（在Node1、Node2节点上操作）1．环境准备2．部署 Elasticsearch 软件(1)安装elasticsearch—rpm包(2)加载系统服务(3)修改elasticsearch主配置文件(4)创建数据存放路径并授权(5)启动elasticsearch是否成功开启(6)查看节点信息安装 Elasticsearch-head
OpenStack环境搭建ELK日志分析系统.zip
07-22
在OpenStack环境中构建ELK日志分析系统是一项关键任务，特别是在大规模云计算平台中，日志管理对于监控、故障排查和性能优化至关重要。ELK（Elasticsearch、Logstash和Kibana）组合提供了强大的日志收集、存储、搜索...
Logstash日志数据采集与ELK可视化分析实战
02-21
基于Logstash的日志数据采集和ELK可视化海量日志分析平台实战（全套视频+课件+代码+讲义+工具），具体内容包括： 01 Logstash的架构及运行流程 02 Logstash的数据采集案例（一） 03 Logstash的数据采集案例（二） 04...
ELK/ELFK(7.3 ) 企业PB级日志系统实战
06-17
本堂课引入Kafka 让Elastic Stack 能适应企业PB级的业务日志量并弥补传统ELk架构的不足 ? ★学完这门课程会获得什么？ ? 首先从零开始教你部署Elastic Stack系统, 详细讲解Elastic产品,包括 Kibana.Logstash,...
中小型研发团队架构实践：集中式日志ELK
02-25
我们这里主要讲解应用日志，通过应用日志来了解应用的信息和状态，以及分析应用错误发生的原因等。随着系统的日益复杂，大数据时代的来临，需要几十甚至上百台的服务器是常有的事，因此迫切需要有一套针对日志、且...
ELK统一日志系统的应用
weixin_34019144的博客
04-12 197
收集和分析日志是应用开发中至关重要的一环，互联网大规模、分布式的特性决定了日志的源头越来越分散， 产生的速度越来越快，传统的手段和工具显得日益力不从心。在规模化场景下，grep、awk 无法快速发挥作用，我们需要一种高效、灵活的日志分析方式，可以给故障处理，问题定位提供更好的支持。基于全文搜索引擎 Lucene 构建的 ELKstack 平台，是目前比较流行的日志收集方解决方案。 EL...
十分钟搭建和使用ELK日志分析系统
weixin_33695450的博客
07-26 1138
前言 为满足研发可视化查看测试环境日志的目的，准备采用EK+filebeat实现日志可视化（ElasticSearch+Kibana+Filebeat）。题目为“十分钟搭建和使用ELK日志分析系统”听起来有点唬人，其实如果单纯满足可视化要求，并且各软件都已经下载到本地，十分钟是可以搭建一个ELK系统的。本文介绍如何快速安装、配置、使用EK+FILEBEAT去实现日志搜集。本文中没有使用L...
ELK日志分析系统技术试用
sky191817的博客
03-03 1751
1.1.概述 1、日志，对于任何系统来说都是及其重要的组成部分。在计算机系统里面，更是如此。 但是由于现在的计算机系统大多比较复杂，很多系统都不是在一个地方，甚至都是跨国界的；即使是在一个地方的系统，也有不同的来源，比如，操作系统，应用服务，业务逻辑等等。他们都在不停产生各种各样的日志数据。 2、日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因。 3、面对如此海量的数据，又是分布在各个不同地方，如果需要去查找一些重要的信息
ELK 日志分析
路人甲的博客
11-22 4609
文章目录一、为什么用到 ELK二、ELK 简介三、实验部署3.1 准备工作3.2 下载并安装软件包3.3 安装 JDK(java)环境工具3.4 配置 elasticsearch3.4.1 新建 elasticsearch 用户并启动3.4.2 查看进程是否启动成功3.4.3 若出现错误可以查看日志3.4.4 测试是否可以正常访问3.5 配置 logstash3.5.1 logstash 中 grok 的正则匹配3.5.2 创建 logstash 配置文件3.5.3 启动3.6 配置 kibana3.6.1
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值