ELK日志分析系统

已于 2022-03-01 15:50:30 修改
阅读量917 收藏
点赞数
分类专栏： Linux 文章标签： elk elasticsearch 搜索引擎 linux 运维
于 2021-12-18 08:08:04 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/oyyy3/article/details/122008102
版权

目录 

一.ELK日志分析系统简介

1.ELK的三大组成

2.完整日志系统基本特征

3.ELK中日志处理步骤

4.Elasticsearch

5.Logstash

LogStash主要组件

6.Kibana

Kibana主要功能

二.部署

1.环境配置

2.初始化操作，配置elasticsearch环境192.168.68.200

3.192.168.68.30

1.配置elasticsearch环境

2.部署elasticsearch软件

3.检测集群状态

4.安装elasticsearch-head插件

5.安装phantomjs（前端框架）

6.安装elasticsearch-head（数据可视化工具）

7.修改主配置文件

8.启动elasticsearch-head

9.使用elasticsearch-head插件查看集群状态

10.创建索引

4.192.168.68.105

1.配置elasticsearch环境

2.部署elasticsearch软件

3.检测集群状态

4.安装elasticsearch-head插件

5.安装phantomjs（前端框架）

6.安装elasticsearch-head（数据可视化工具）

7.修改主配置文件

8.启动elasticsearch-head

9.使用elasticsearch-head插件查看集群状态

10.创建索引

5.安装logstash(192.168.68.200)

6.测试logstash命令

1.标准输出

2.详细输出

3.使用logstash将信息写入elasticsearch中，输入 输出 对接

7.安装kibana(192.168.68.30)

1.修改配置文件

2.测试

3.对接Apache主机的Apache 日志文件（访问日志、错误日志）

4.测试（192.168.68.30）

一.ELK日志分析系统简介

1.ELK的三大组成

ELK=elasticsearch+logstash+kibana
  • ​​​Elasticsearch
    • 是一个开源分布式搜索引擎，特点有：分布式、零配置、自动发现
    • 索引自动分片、索引副本机制，restful风格接口，多数据，自动搜索负载等
    • 通常作为具有复杂搜索场景情况下的核心发动机

  • Logstash

    • 是一个完全开源的工具，它可以对日志进行收集、过滤，并将其存储，供以后使用

  • Kibana

    • 是一个开源免费的工具，kibana可以为Logstash和Elasticsearch提供友好的日志分析web页面

2.完整日志系统基本特征

  • 收集∶能够采集多种来源的日志数据

  • 传输∶能够稳定的把日志数据解析过滤并传输到存储系统

  • 存储∶存储日志数据

  • 分析∶支持 UI分析

  • 警告∶能够提供错误报告，监控机制

3.ELK中日志处理步骤

  • 第一步：将日志进行集中化管理（beats）

  • 第二步：将日志格式化（Logstash），然后将格式化后的数据输出到Elasticsearch

  • 第三步：对格式化后的数据进行索引和存储（Elasticsearch）

  • 第四步：前端数据的展示（Kibana）

4.Elasticsearch

  1. 实时搜索、实时分析

  2. 分布式架构、实时文件存储

  3. 文档导向，所有对象都是文档

  4. 高可用，易扩展，支持集群，分片与复制

  5. 接口友好，支持json

5.Logstash

  • 一款强大的数据处理工具
  • 可实现数据传输、格式处理、格式化输出
  • 数据输入、数据加工（如过滤，改写等）以及数据输出
  • 常用插件：Input、Filter Plugin、Output
  • Input：收集源数据（访问日志、错误日志等）
  • Filter Plugin：用于过滤日志和格式处理
  • Output：输出日志6.kibana

LogStash主要组件

  • Shipper

  • Indexer

  • Broker

  • Search and Storage

  • Web Interface

6.Kibana

  • 一个针对Elasticsearch的开源分析及可视化平台

  • 搜索、查看存储在Elasticsearch索引中的数据

  • 通过各种图表进行高级数据分析及展示

Kibana主要功能

  • Elasticsearch无缝之集成

  • 整合数据，复杂数据分析

  • 让更多团队成员收益

  • 接口灵活，分享更容易

  • 配置简单、可视化多数据源

  • 简单数据导出

二.部署

1.环境配置

apache:192.168.68.200 # httpd / Logstash
es01：192.168.68.30   # Elasticsearch
es02：192.168.68.105  # Elasticsearch

2.初始化操作，配置elasticsearch环境192.168.68.200

[root@tomact ~]# systemctl stop firewalld
[root@tomact ~]# setenforce 0
[root@tomact ~]# hostnamectl set-hostname apache
[root@tomact ~]# su
[root@apache ~]# vim /etc/hosts
192.168.68.200 apache
192.168.68.30 node1
192.168.68.105 node2
[root@apache ~]# ping node1
[root@apache ~]# java -version
openjdk version "1.8.0_131"
OpenJDK Runtime Environment (build 1.8.0_131-b12)
OpenJDK 64-Bit Server VM (build 25.131-b12, mixed mode)

[root@apache ~]# vim /etc/hosts

1.配置elasticsearch环境

[root@localhost ~]# systemctl stop firewalld
[root@localhost ~]# setenforce 0
[root@localhost ~]# hostnamectl set-hostname node1
[root@node1 ~]# su
[root@node1 ~]# vim /etc/hosts
192.168.68.200 apache
192.168.68.30 node1
192.168.68.105 node2
[root@node1 ~]# java -version
openjdk version "1.8.0_312"
OpenJDK Runtime Environment (build 1.8.0_312-b07)
OpenJDK 64-Bit Server VM (build 25.312-b07, mixed mode)

[root@node1 ~]# vim /etc/hosts

2.部署elasticsearch软件

[root@node1 ~]# cd /opt
##上传elasticsearch-5.5.0.rpm到/opt目录下
[root@node1 opt]# rz elasticsearch-5.5.0.rpm  
[root@node1 opt]# rpm -ivh elasticsearch-5.5.0.rpm
##加载系统服务
[root@node1 opt]# systemctl daemon-reload
[root@node1 opt]# systemctl enable elasticsearch.service

##更改elasticsearch主配置文件
[root@node1 opt]# cp /etc/elasticsearch/elasticsearch.yml /etc/elasticsearch/elasticsearch.yml.bak
[root@node1 opt]# vim /etc/elasticsearch/elasticsearch.yml
 17 cluster.name: my-elk-cluster
 ##取消注释，修改；集群名字
 23 node.name: node1
 ##取消注释，修改；节点名字
 33 path.data: /data/elk_data
 ##取消注释，修改；数据存放路径
 37 path.logs: /var/log/elasticsearch
 ##取消注释，修改；日志存放路径
 43 bootstrap.memory_lock: false
 ##取消注释，修改；不在启动的时候锁定内存
 55 network.host: 0.0.0.0 
 ##取消注释，修改；提供服务绑定的IP地址，0.0.0.0代表所有地址
 59 http.port: 9200
 ##取消注释，修改；提供服务绑定的IP地址，0.0.0.0代表所有地址
 68 discovery.zen.ping.unicast.hosts: ["node1", "node2"]
 ##取消注释，修改；集群发现通过单播实现，指定要发现的节点 node1、node2

 ##检验配置
 [root@node1 opt]# grep -v "^#" /etc/elasticsearch/elasticsearch.yml
cluster.name: my-elk-cluster
node.name: node1
path.data: /data/elk_data
path.logs: /var/log/elasticsearch
bootstrap.memory_lock: false
network.host: 0.0.0.0
http.port: 9200
discovery.zen.ping.unicast.hosts: ["node1", "node2"]
 

[root@node1 opt]# vim /etc/elasticsearch/elasticsearch.yml
 

 

 
 

 

 

 

 

##创建数据存放路径并授权
[root@node1 opt]# mkdir -p /data/elk_data
[root@node1 opt]# chown elasticsearch:elasticsearch /data/elk_data/
##启动elasticsearch是否成功开启
[root@node1 opt]# systemctl start elasticsearch 
[root@node1 opt]# netstat -natp |grep 9200
tcp6       0      0 :::9200                 :::*                    LISTEN      50091/java  
##大概会有十秒钟左右时间，才会有第一次端口号显示
 

 

3.检测集群状态
 

查看节点信息
 

http://192.168.68.30:9200/
 

 

检测集群健康、查看集群状态
 

http://192.168.68.30:9200/_cluster/health?pretty
 

##green代表状态正常
 

 

http://192.168.68.30:9200/_cluster/state?pretty
 

 

4.安装elasticsearch-head插件
 

 
 
安装elasticsearch-head插件，用于管理集群
 

 

##编译安装node组件依赖包
[root@node1 opt]# yum -y install gcc gcc-c++ make
##上传软件包 node-v8.2.1.tar.gz 到/opt
[root@node1 opt]# rz -E
[root@node1 opt]# tar xf node-v8.2.1.tar 
[root@node1 opt]# cd node-v8.2.1/
[root@node1 node-v8.2.1]# ./configure  
[root@node1 node-v8.2.1]# make && make install -j2
## 这里耗时比较长估计20-30分钟
 

 

5.安装phantomjs（前端框架）
 

##上传软件包 phantomjs-2.1.1-linux-x86_64.tar.bz2 到/opt目录下
[root@node1 opt]# rz -E
rz waiting to receive.
[root@node1 opt]# tar jxf phantomjs-2.1.1-linux-x86_64.tar.bz2 -C /usr/local/src/
cd^H[root@node1 opt]# cd /usr/local/src/phantomjs-2.1.1-linux-x86_64/bin/
[root@node1 bin]# ls
phantomjs
[root@node1 bin]# cp phantomjs /usr/local/bin/
 

 

6.安装elasticsearch-head（数据可视化工具）
 

##上传软件包 elasticsearch-head.tar.gz 到/opt
[root@node1 opt]# rz -E
rz waiting to receive.
[root@node1 opt]# tar zxf elasticsearch-head.tar.gz -C /usr/local/src/
c[root@node1 opt]# cd /usr/local/src/elasticsearch-head/
[root@node1 elasticsearch-head]# npm install
 

 

7.修改主配置文件
 

##末尾添加这些内容
[root@node1 elasticsearch-head]# vim /etc/elasticsearch/elasticsearch.yml
 89 http.cors.enabled: true
 ##开启跨域访问支持，默认为 false
 90 http.cors.allow-origin: "*"
 ##指定跨域访问允许的域名地址为所有
 [root@node1 elasticsearch-head]# systemctl restart elasticsearch.service 
 

 
 
[root@node1 elasticsearch-head]# vim /etc/elasticsearch/elasticsearch.yml

 

 

​ 8.启动elasticsearch-head
 

##在解压后的 elasticsearch-head 目录下启动服务，进程会读取该目录下的 gruntfile.js 文件，否则可能启动失败。 
/usr/local/src/elasticsearch-head
[root@node1 elasticsearch-head]# npm run start &
[1] 50156
[root@node1 elasticsearch-head]# 
> elasticsearch-head@0.0.0 start /usr/local/src/elasticsearch-head
> grunt server

Running "connect:server" (connect) task
Waiting forever...
Started connect web server on http://localhost:9100
##回车
[root@node1 elasticsearch-head]# netstat -natp |grep 9100
 

 

9.使用elasticsearch-head插件查看集群状态
 

http://192.168.68.30:9100/
 

 

10.创建索引
 

[root@node1 elasticsearch-head]# curl -X PUT 'localhost:9200/index-demo/test/1?pretty&pretty' -H 'content-Type: application/json' -d '{"user":"zhangsan","mesg":"hello world"}'
 

 

 
 
此时会出现创建的索引，显示索引的信息，如大小、备份、数据被分片5个存储
 

 

 

 
 
点击数据流量，会发现在node1上创建的索引为index-demo，类型为test相关信息
 

 

 

4.192.168.68.105
 

1.配置elasticsearch环境
 

[root@localhost ~]# systemctl stop firewalld
[root@localhost ~]# setenforce 0
[root@localhost ~]# hostnamectl set-hostname node2
[root@node2 ~]# su
[root@node2 ~]# vim /etc/hosts
192.168.68.200 apache
192.168.68.30 node1
192.168.68.105 node2
[root@node2 ~]# ping node1
[root@node2 ~]# java -version
openjdk version "1.8.0_312"
OpenJDK Runtime Environment (build 1.8.0_312-b07)
OpenJDK 64-Bit Server VM (build 25.312-b07, mixed mode)
 

 

[root@node2 ~]# vim /etc/hosts
 

 

2.部署elasticsearch软件
 

[root@node2 ~]# cd /opt
##上传elasticsearch-5.5.0.rpm到/opt目录下
[root@node2 opt]# rz elasticsearch-5.5.0.rpm  
[root@node2 opt]# rpm -ivh elasticsearch-5.5.0.rpm
##加载系统服务
[root@node2 opt]# systemctl daemon-reload
[root@node2 opt]# systemctl enable elasticsearch.service
 

 

##更改elasticsearch主配置文件
[root@node2 opt]# cp /etc/elasticsearch/elasticsearch.yml /etc/elasticsearch/elasticsearch.yml.bak
[root@node2 opt]# vim /etc/elasticsearch/elasticsearch.yml
 17 cluster.name: my-elk-cluster
 ##取消注释，修改；集群名字
 23 node.name: node2
 ##取消注释，修改；节点名字
 33 path.data: /data/elk_data
 ##取消注释，修改；数据存放路径
 37 path.logs: /var/log/elasticsearch
 ##取消注释，修改；日志存放路径
 43 bootstrap.memory_lock: false
 ##取消注释，修改；不在启动的时候锁定内存
 55 network.host: 0.0.0.0 
 ##取消注释，修改；提供服务绑定的IP地址，0.0.0.0代表所有地址
 59 http.port: 9200
 ##取消注释，修改；提供服务绑定的IP地址，0.0.0.0代表所有地址
 68 discovery.zen.ping.unicast.hosts: ["node1", "node2"]
 ##取消注释，修改；集群发现通过单播实现，指定要发现的节点 node1、node2
 
 ##检验配置
 [root@node2 opt]# grep -v "^#" /etc/elasticsearch/elasticsearch.yml
cluster.name: my-elk-cluster
node.name: node2
path.data: /data/elk_data
path.logs: /var/log/elasticsearch
bootstrap.memory_lock: false
network.host: 0.0.0.0
http.port: 9200
discovery.zen.ping.unicast.hosts: ["node1", "node2"]
 

 

[root@node2 opt]# vim /etc/elasticsearch/elasticsearch.yml

 

 

 

 

 

##创建数据存放路径并授权
[root@node2 opt]# mkdir -p /data/elk_data
[root@node2 opt]# chown elasticsearch:elasticsearch /data/elk_data/
##启动elasticsearch是否成功开启
[root@node2 opt]# systemctl start elasticsearch 
[root@node2 opt]# netstat -natp |grep 9200
tcp6       0      0 :::9200                 :::*                    LISTEN      50091/java  
##大概会有十秒钟左右时间，才会有第一次端口号显示
 

 

3.检测集群状态
 

查看节点信息
 

http://192.168.68.105:9200/
 

 

检测集群健康、查看集群状态
 

http://192.168.68.105:9200/_cluster/health?pretty
 

##green代表状态正常
 

 

http://192.168.68.105:9200/_cluster/state?pretty
 

 

4.安装elasticsearch-head插件
 

 
 
安装elasticsearch-head插件，用于管理集群
 

 

##编译安装node组件依赖包
[root@node2 opt]# yum -y install gcc gcc-c++ make
##上传软件包 node-v8.2.1.tar.gz 到/opt
[root@node2 opt]# rz -E
[root@node2 opt]# tar xf node-v8.2.1.tar 
[root@node2 opt]# cd node-v8.2.1/
[root@node2 node-v8.2.1]# ./configure  
[root@node2 node-v8.2.1]# make && make install -j2
## 这里耗时比较长估计20-30分钟
 

 

5.安装phantomjs（前端框架）
 

##上传软件包 phantomjs-2.1.1-linux-x86_64.tar.bz2 到/opt目录下
[root@node2 opt]# rz -E
rz waiting to receive.
[root@node2 opt]# tar jxf phantomjs-2.1.1-linux-x86_64.tar.bz2 -C /usr/local/src/
[root@node2 opt]# cd /usr/local/src/phantomjs-2.1.1-linux-x86_64/bin/
[root@node2 bin]# ls
phantomjs
[root@node2 bin]# cp phantomjs /usr/local/bin/
 

 

6.安装elasticsearch-head（数据可视化工具）
 

##上传软件包 elasticsearch-head.tar.gz 到/opt
[root@node2 opt]# rz -E
rz waiting to receive.
[root@node2 opt]# tar zxf elasticsearch-head.tar.gz -C /usr/local/src/
[root@node2 opt]# cd /usr/local/src/elasticsearch-head/
[root@node2 elasticsearch-head]# npm install
 

 

7.修改主配置文件
 

##末尾添加这些内容
[root@node2 elasticsearch-head]# vim /etc/elasticsearch/elasticsearch.yml
 89 http.cors.enabled: true
 ##开启跨域访问支持，默认为 false
 90 http.cors.allow-origin: "*"
 ##指定跨域访问允许的域名地址为所有
[root@node2 elasticsearch-head]# systemctl restart elasticsearch.service 
 

[root@node2 elasticsearch-head]# vim /etc/elasticsearch/elasticsearch.yml
 

 

8.启动elasticsearch-head
 

##在解压后的 elasticsearch-head 目录下启动服务，进程会读取该目录下的 gruntfile.js 文件，否则可能启动失败。 
/usr/local/src/elasticsearch-head
[root@node2 elasticsearch-head]# npm run start &
[1] 50156
[root@node2 elasticsearch-head]# 
> elasticsearch-head@0.0.0 start /usr/local/src/elasticsearch-head
> grunt server
​
Running "connect:server" (connect) task
Waiting forever...
Started connect web server on http://localhost:9100
##回车
[root@node2 elasticsearch-head]# netstat -natp |grep 9100
 

 

9.使用elasticsearch-head插件查看集群状态
 

http://192.168.68.105:9100/
 

 

10.创建索引
 

只需要在一台机子上创建索引就行
 

 

 

5.安装logstash(192.168.68.200)
 

收集日志输出到elasticsearch中
 

安装Apahce服务(httpd)和Java环境
 

[root@apache ~]# yum install httpd -y
[root@apache ~]# systemctl start httpd
##将logstash-5.5.1.rpm 传到/opt目录下
[root@apache opt]# rz -E 
rz waiting to receive.
[root@apache opt]# rpm -ivh logstash-5.5.1.rpm 
[root@apache opt]# systemctl start logstash.service 
[root@apache opt]# systemctl enable logstash.service
[root@apache opt]# ln -s /usr/share/logstash/bin/logstash /usr/local/bin/
##建立logstash软连接
 

 

6.测试logstash命令
 

-f  通过这个选项可以指定logstash的配置文件，根据配置文件配置logstash 
-e  后面跟着字符串 该字符串可以被当做logstash的配置（如果是” ”,则默认使用stdin做为输入、stdout作为输出） 
-t  测试配置文件是否正确，然后退出 
  
定义输入和输出流：
输入采用标准输入，输出采用标准输出（类似管道）
logstash -e 'input { stdin{} } output { stdout{} }'
​
使用rubydebug显示详细输出，codec为一种编解码器
logstash -e 'input { stdin{} } output { stdout{ codec=>rubydebug } }'
​
使用 Logstash 将信息写入 Elasticsearch 中
logstash -e 'input { stdin{} } output { elasticsearch { hosts=>["192.168.68.30:9200"] } }'
 

1.标准输出
 

logstash -e 'input { stdin{} } output { stdout{} }'
 

 

2.详细输出
 

logstash -e 'input { stdin{} } output { stdout{ codec=>rubydebug } }'
 

rubydebug显示详细输出，codec为一种编码器，将我输入的内容，解码后进行详细的输出
 

 

 3.使用logstash将信息写入elasticsearch中，输入 输出 对接
 

 

logstash -e 'input { stdin{} } output { elasticsearch { hosts=>["192.168.68.30:9200"] } }'
 

1.在output中添加设置，将等会输入的信息输出的elasticsearch中
 

 

在主机192.168.68.200中访问  
查看索引信息 
多出 logstash-日期
http://192.168.68.30:9100
 

 

 

2.在Apache主机上做对接配置
 

Logstash配置文件主要由三部分组成：input、output、filter
[root@apache ~]# chmod o+r /var/log/messages
[root@apache ~]# ll -d /var/log/messages
-rw----r--. 1 root root 656287 12月 18 00:50 /var/log/messages
[root@apache ~]# vim /etc/logstash/conf.d/system.conf
input {
       file{
        path => "/var/log/messages"
        type => "system"
        start_position => "beginning"
        }
      }
output {
        elasticsearch {
          hosts => ["192.168.68.30:9200"]
          index => "system-%{+YYYY.MM.dd}"
          }
        }
[root@apache ~]# systemctl restart logstash.service 
 

 

[root@apache ~]# vim /etc/logstash/conf.d/system.conf
 

​​​​
 

3.测试
 

在主机192.168.68.200上访问
查看索引信息
​
多出 system-日期
http://192.168.68.30:9100
 

可以显示出刚刚添加的系统日志了
 

 

7.安装kibana(192.168.68.30)
 

1.修改配置文件
 

[root@node1 ~]# cd /usr/local/src/
[root@node1 src]# rz -E
rz waiting to receive.
[root@node1 src]# ls
elasticsearch-head  kibana-5.5.1-x86_64.rpm  phantomjs-2.1.1-linux-x86_64
[root@node1 src]# rpm -ivh kibana-5.5.1-x86_64.rpm 
[root@node1 src]# cd /etc/kibana/
[root@node1 kibana]# ls
kibana.yml
[root@node1 kibana]# cp kibana.yml kibana.yml.bak
[root@node1 kibana]# vim kibana.yml
  2 server.port: 5601
  ##取消注释；kibana打开的端口（默认5601）
  7 server.host: "0.0.0.0"
  ##取消注释，修改；kibana侦听的地址
 21 elasticsearch.url: "http://192.168.68.30:9200"
 ##取消注释，修改；和elasticsearch建立联系
 30 kibana.index: ".kibana"
 ##取消注释；在elasticsearch中添加.kibana索引
[root@node1 kibana]# systemctl start kibana.service 
[root@node1 kibana]# systemctl enable kibana.service 
 

 

[root@node1 kibana]# vim kibana.yml
 

 

 2.测试
 

在apache主机192.168.68.200上访问192.168.68.30:5601
首次登录创建一个索引 名字：system-* （这是对接系统日志文件）
然后点最下面的出面的create 按钮创建
 

http://192.168.68.30:5601/
 

 

 

 

3.对接Apache主机的Apache 日志文件（访问日志、错误日志）
 

[root@apache conf.d]# vim apache_log.conf
input {
       file{
        path => "/etc/httpd/logs/access_log"
        type => "access"
        start_position => "beginning"
        }
       file{
        path => "/etc/httpd/logs/error_log"
        type => "error"
        start_position => "beginning"
        }
​
      }
output {
        if [type] == "access" {
        elasticsearch {
          hosts => ["192.168.68.30:9200"]
          index => "apache_access-%{+YYYY.MM.dd}"
          }
        }
        if [type] == "error" {
        elasticsearch {
          hosts => ["192.168.68.30:9200"]
          index => "apache_error-%{+YYYY.MM.dd}"
          }
        }
      }
[root@apache conf.d]# /usr/share/logstash/bin/logstash -f apache_log.conf
 

[root@apache conf.d]# vim apache_log.conf
 

 

 

4.测试（192.168.68.30）
 

在主机192.168.68.30上访问
打开输入http://192.168.68.200，制造点访问记录
​
打开浏览器 输入http://192.168.68.30:9100/ 查看索引信息
能发现apache_error-2021.12.17和apache_access-2021.12.17
​
打开浏览器 输入http://192.168.68.200:5601
点击左下角有个management选项—index patterns—create index pattern
分别创建apache_error-* 和 apache_access-* 的索引
 

http://192.168.68.200/
 

 

 

http://192.168.68.30:9100/
 

http://192.168.68.30:9200/
 

 

 

（192.168.68.200）
 

打开浏览器 输入http://192.168.68.200:5601
点击左下角有个management选项---index  patterns---create index pattern
----分别创建apache_error-*   和     apache_access-* 的索引   
 

 

 

 

 


                

        

        

    

  


    

      

        

            

              
                
                  jwrrrrrr
                
              
            

            

                关注
              
            

        

        

          
      

      

            

                专栏目录
          









                



	

		

			

				
					
ELK日志分析系统   超详细！！理论+实操讲解！！

				
			

			

				

					weixin_49022211的博客
				

				

					11-13
					
					2万+
					
				

			

		

		

			
				
文章目录一、ELK日志分析系统简介1.1日志处理的步骤1.2 ELK日志分析系统三部分1.3日志服务器（一般）二、Elasticsearch介绍2.1 Elasticsearch概述2.2 Elasticsearch的概念2.3 为什么要采用分片2.4 开启分片副本的主要原因三：Logstash介绍3.1 Logstash概述3.2 Logstash主要组件四：Kibana介绍4.1 Kibana概述4.2 Kibana主要功能五：实操


一、ELK日志分析系统简介
1.1日志处理的步骤
1.将APP s

			
		

	



                

              
                



	

		

			

				
					
ELK 日志分析系统

				
			

			

				

					weixin_34302798的博客
				

				

					10-08
					
					602
					
				

			

		

		

			
				
大纲：一、简介二、Logstash三、Redis四、Elasticsearch五、Kinaba一、简介1、核心组成ELK由Elasticsearch、Logstash和Kibana三部分组件组成；Elasticsearch是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。Logstash...

			
		

	



                


  
              

                


	

		

			

				
					
ELK-日志分析系统

					
热门推荐

				
			

			

				

					二十同学
				

				

					09-23
					
					5万+
					
				

			

		

		

			
				
为什么要建立日志分析系统：

当我们需要进行日志分析场景：直接在日志文件中 grep、awk 就可以获得自己想要的信息。但在规模较大的场景中，此方法效率低下，面临问题包括日志量太大如何归档、文本搜索太慢怎么办、如何多维度查询。需要集中化的日志管理，所有服务器上的日志收集汇总。

解决办法是建立集中式日志收集系统，将所有节点上的日志统一收集，管理，访问。

一般大型系统是一个分布式部署的架构，不同的服务模块部署在不同的服务器上，问题出现时，大部分情况需要根据问题暴露的关键信息，定位到具体的服务器和服务模块，构

			
		

	





	

		

			

				
					
超详细部署ELK日志分析系统！每一步骤都有记录！ELK的详细使用！

				
			

			

				

					qq_41786285的博客
				

				

					11-18
					
					4052
					
				

			

		

		

			
				
一、ELK简介
日志分析是运维工程师解决系统故障，发现问题的主要手段。日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因,经常分析日志可以了解服务器的负荷，性能安全性，从而及时采取措施纠正错误。
日志是一个非常庞大的数据，并且常常被分散在不同的设备上，这样排查问题的时候找日志就非常繁琐困难。
这时，一个专门处理日志的系统就非常必要，这里介绍其中的一种，ELK日志分析系统（ELasticsearch+Logstash+Kiba

			
		

	



		

			
		



	

		

			

				
					
Centos7下搭建ELK日志分析系统

				
			

			

				

					11-02
				

			

		

		

			
				
【Centos7下搭建ELK日志分析系统】  ELK栈是日志管理和分析的强大工具，由Elasticsearch、Logstash、Kibana三个组件组成。Elasticsearch是一个分布式的实时搜索和分析引擎，用于存储、分析和检索大量数据。Logstash...

			
		

	





	

		

			

				
					
13-ELK日志分析系统.pdf

				
			

			

				

					08-27
				

			

		

		

			
				
ELK日志分析系统是一套广泛应用于日志管理的开源工具集，它由Elasticsearch、Logstash和Kibana三个组件构成，它们各自负责不同的功能，以实现日志的收集、处理、存储和可视化分析。  首先，Elasticsearch是一个基于...

			
		

	





	

		

			

				
					
ELk日志分析系统搭建

				
			

			

				

					@chenk的博客
				

				

					05-17
					
					6515
					
				

			

		

		

			
				
一、什么是ELK
​ ELK是Elasticsearch + Logstash + Kibana 这种架构的简写.

​ 这是一种日志分析平台的架构.

如果没有ELK这样的日志分析平台,我们同样可以使用shell三剑客(grep、sed、awk)来分析日志。

这种方式略显原始而简陋，虽然也能应对大多数的场景，但是当日志量变大，分析频繁的时候，仅靠人工shell 的方式来查看分析日志，就很不方便。

尤其适当使用者，对于shell不是很擅长的情况下，一个操作简单，配置方便的日志分析平台，就显得很有必要了。

			
		

	





	

		

			

				
					
ELK企业级日志分析系统

				
			

			

				

					abjava1的博客
				

				

					12-12
					
					1093
					
				

			

		

		

			
				
目录
一、ELK理论
1、日志服务器
2、ELK日志分析系统
3、日志处理步骤
4、ELK简介
5、为什么要使用ELK
6、完整日志系统基本特征
7、ELK的工作原理
8、总结
二、ELK集群之部署elasticsearch集群部署
1、环境准备
2、部署elasticsearch 软件
2.1修改elasticsearch 主配置文件
2.3创建数据存放路径并授权，启动elasticsearch
2.4 查看节点信息
3、安装elasticsearch-hand
3.

			
		

	





	

		

			

				
					
强大的ELK日志分析系统！

				
			

			

				

					guguai7的博客
				

				

					08-16
					
					5558
					
				

			

		

		

			
				
ELK日志分析系统一.ELK日志分析系统简介1.日志服务器的优缺点2.ELK简介3.Logstash管理包含四种工具4.elk工作原理二.Elasticsearch介绍三.Elasticsearch的基础核心概念：1.接近实时（NRT）2.集群（cluster）3.节点（node）4.索引（index）5.类型（type）6.文档（document）7.分片和副本（shards & replicas）四.logstash介绍1.logStash的主要组件:2.LogStash主机分类：五.Kiban

			
		

	





	

		

			

				
					
ELK（Elasticsearch+Logstash+Kibana）日志分析系统

					
最新发布

				
			

			

				

					十七拾的博客
				

				

					04-11
					
					5507
					
				

			

		

		

			
				
本文主要介绍了ELK日志文件系统的概念和部署过程，详细阐释了Elasticsearch、Logstash、Kibana三个开源的日志收集、存储、检索和可视化的工具

			
		

	





	

		

			

				
					
手把手教你搭建ELK日志分析系统

				
			

			

				

					
				

			

		

		

			
				
"快速搭建ELK日志分析系统，包括Elasticsearch、Logstash和Kibana的核心组件，用于日志收集、分析和可视化。Elasticsearch是一个强大的搜索和分析引擎，Logstash处理各种日志源，而Kibana则提供图形化界面。"  在...

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值