ELK日志分析

最新推荐文章于 2024-04-18 08:03:13 发布
最新推荐文章于 2024-04-18 08:03:13 发布
阅读量1.4k 收藏 1
点赞数
文章标签： 数据库 redis database
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_59439550/article/details/121403163
版权

目录

一、ELK日志分析系统简介

1.日志服务器

2.ELK日志分析系统

3.日志处理步骤

二、Elasticsearch的介绍

1.Elasticsearch的核心概念

三、Logstash介绍

1. logStash的主要组件

2. LogStash主机分类

四、Kibana介绍

1.kibana的主要功能

五、配置ELK日志分析系统

1.准备条件

2.关闭防火墙策略

3.配置elasticsearch环境

4.部署elasticsearch软件

5.安装elasticsearch-head插件

6.安装logstash日志收集工具(apache)

7.配置对接测试（apache） 

8.安装kibana可视化平台

一、ELK日志分析系统简介

1.日志服务器

优点：提高安全性，集中存放日志

缺点：对日志的分析困难

2.ELK日志分析系统

Elasticsearch(es)：非关系型数据库索引→作为搜索引擎

Logstash：到应用服务器上拿取log,并进行格式转换后输出到es中

Kibana：将es内的数据在浏览器展示出来，通过UI界面展示(可以根据自己的需求对日志进行处理，方便查阅读取)

3.日志处理步骤

(1)Logstash收集AppServer产生的Log,并将log进行集中化管理(beats)

(2)将日志格式化(Logstash) 并存放到ElasticSearch集群中

(3)对格式化后的数据进行索引|和存储( Elasticsearch)

(4)Kibana则从Es集群中查询数据生成图表，再返回给browsers

Logstash管理包含的工具

beats：是一组轻量级采集程序的统称，这些采集程序包括并不限于

metricbeat：进行指标采集，指标可以是系统的，也可以是众多中间件产品的，主要用于监控系统和软件的性能。

packetbeat：通过网络抓包、协议分析，对一些请求响应式的系统通信进行监控和数据采集，可以收集到很多常规方式无法收集到的信息

Winlogbeat：专门针对windows和event log进行的数据采集

Heartbeat：系统间连通性检测，比如ilmp、tcp、http等系统的连通性监控

二、Elasticsearch的介绍

Elasticsearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是第二流行的企业搜索引擎。设计用于云计算中能够达到实时搜索，稳定，可靠，快速，安装使用方便。

1.Elasticsearch的核心概念

1、接近实时（NRT）

Elasticsearch是一个接近实时的搜索平台，这意味着，从索引一个文档直到这个文档能够被搜索到有一个轻微的延迟（通常是1秒)

2、集群（cluster）

一个集群就是由一个或多个节点组织在一起，它们共同持有你整个的数据，并一起提供索引和搜索功能。其中一个节点为主节点，这个主节点是可以通过选举产生的，并提供跨节点的联合索引和搜索的功能。集群有一个唯一性标示的名字，默认是elasticsearch，集群名字很重要，每个节点是基于集群名字加入到其集群中的。因此，确保在不同环境中使用不同的集群名字。

一个集群可以只有一个节点。强烈建议在配置elasticsearch时，配置成集群模式。

3、节点（node）

节点就是一台单一的服务器，是集群的一部分，存储数据并参与集群的索引和搜索功能。像集群一样，节点也是通过名字来标识的，默认是在节点启动时随机分配的字符名。当然，也可以自定义。该名字也是很重要，在集群中用于识别服务器对应的节点。

节点可以通过指定集群名字来加入到集群中。默认情况，每个节点被设置成加入到elasticsearch集群。如果启动了多个节点，假设能自动发现对方，他们将会自动组建一个名为elasticsearch的集群。

4、索引（index）

一个索引就是一个拥有几分相似特征的文档的集合，一个索引由一个名字来标识(必须全部是小写字母的)，并且当我们要对对应于这个索引中的文档进行索引、搜索、更新和删除的时候，都要使用到这个名字。

5、类型（type）

在一个索引中，你可以定义一种或多种类型。一个类型是你的索引的一个逻辑上的分类/分区；通常，会为具有一组共同字段的文档定义一个类型。

6、文档（document）

文档以JSON ( Javascript object Notation)格式来表示，而JSON是一个到处存在的互联网数据交互格式。虽然一个文档在物理上位于一个索引中，实际上一个文档必须在一个索引内被索引和分配一个类型。

7、分片和副本（shards&replicas）

即es作为搜索引擎快的原因：在实际情况下，索引存储的数据可能超过单个节点的硬件限制。如一个10亿文档需1TB空间可能不适合存储在单个节点的磁盘上，或者从单个节点搜索请求太慢了。为了解决这个问题，elasticsearch提供将索引分成多个分片的功能。当在创建索引时，可以定义想要分片的数量。每一个分片就是一个全功能的独立的索引，可以位于集群中任何节点上。

分片的好处：
①水平分割扩展，增大存储量
②分布式并行跨分片操作，提高性能和吞吐量

为了防止网络问题等其它问题造成数据丢失，需要有一个故障切换机制，为此，elasticsearch让我们将索引分片复制一份或多份，称之为分片副本或副本。

副本也有两个最主要原因:
①高可用性，以应对分片或者节点故障，需要在不同的节点上
②提高性能， 增大吞吐量，搜索可以并行在所有副本上执行

总之，每个索引可以被分成多个分片。一个索引也可以被复制0次( 意思是没有复制)或多次。一旦复制了，每个索引就有了主分片(作为复制源的原来的分片)和复制分片(主分片的拷贝)之别。分片和副本的数量可以在索引创建的时候指定。在索引创建之后，你可以在任何时候动态地改变副本的数量，但是你事后不能改变分片的数量。

三、Logstash介绍

Logstash由JRuby语言编写，基于消息(message-based) 的简单架构，并运行在Java虚拟机(JVM)上。LogStash可配置单一的代理端(agent) 与其它开源软件结合，以实现不同的功能。
Logstash的理念很简单，它只做3件事情:Collect:数据输入、Enrich:数据加工，1如过滤，改等、Transport:数据输出( 被其他模块进行调用)。

1. logStash的主要组件

Shipper(日志收集者)：负责监控本地日志文件的变化，及时把日志文件的最新内容收集起来。通常，远程代理端(agent)只需要运行这个组件即可。

Indexer(日志存储者)：负责接收日志并写入到本地文件。

Broker(日志Hub)：负责连接多个Shipper和多个Indexer。

Search and Storage(搜索和存储器)：允许对事件进行搜索和存储。

Web Interface(web界面端)：基于Web的展示界面。

2. LogStash主机分类

代理主机(agent host) ：作为事件的传递者(shipper)，将各种日志数据发送至中心主机，只需运行Logstash代理( agent)。

程序中心主机(central host) ：可运行包括中间转发器(Broker) 、索引器(Indexer) 、搜索和存储器( Search and Storage )、web界面端(web Interface)在内的各个组件，以实现对日志数据的接收、处理和存储。

四、Kibana介绍

Kibana是一个针对Elasticsearch的开源分析及可视化平台，用来搜索、查看交互存储在Elasticsearch索引中的数据。使用Kibana，可以通过各种图表进行高级数据分析及展示。它操作简单，基于浏览器的用户界面可以快速创建仪表板( dashboard)实时显示Elasticsearch查询动态。设置Kibana非常简单。无需编写代码，几分钟内就可以完成Kibana安装并启动Elasticsearch索引监测。

1.kibana的主要功能

(1)Elasticsearch无缝之集成。Kibana架构为Elasticsearch定制， 可以将任何结构化和非结构化数据加入Elasticsearch索引，Kibana还充分利用了Elasticsearch强大的搜索和分析功能。

(2)整合你的数据。Kibana能够更好地处理海量数据，并据此创建柱形图、折线图、散点图、直方图、饼图和地图。

(3)复杂数据分析。Kibana提升了Elasticsearch分析能力，能够更加智能地分析数据，执行数学转换并且根据要求对数据切割分块。

(4)让更多团队成员受益。强大的数据库可视化接口让各业务岗位都能够从数据集合受益。

(5)接口灵活，分享更容易。使用Kibana可以更加方便地创建、保存、分享数据，并将可视化数据快速交流。

(6)配置简单。Kibana的配置和启用非常简单，用户体验非常友好。Kibana自带Web服务器，可以快速启动运行。

(7)可视化多数据源。Kibana可以非常方便地把来自Logstash、 ES-Hadoop、 Beats或第三方技术的数据整合到Elasticsearch，支持的第三方技术包括Apache Flume、 Fluentd等。

(8)简单数据导出。Kibana可以方便地导出感兴趣的数据，与其它数据集合并融合后快速建模分析，发现新结果。

五、配置ELK日志分析系统

需求：配置和安装ELK日志分析系统，安装集群方式，2个elasticsearch节点，并监控apache服务器日志。

1.准备条件

主机操作系统主机名 IP地址主要软件
服务器Centos7.4node1192. 168.150.10
服务器Centos7.4node2192.168.150.20
服务器Centos7.4apache192.168.150.100

2.关闭防火墙策略

[root@localhost ~]# systemctl stop firewalld.service
[root@localhost ~]# systemctl disable firewalld.service
[root@localhost ~]# setenforce 0
#添加域名映射
[root@localhost ~]# vim /etc/hosts   
192.168.150.10 node1
192.168.150.20 node2

3.配置elasticsearch环境

node1服务器

[root@node1 ~]# cd /opt/
[root@node1 opt]# rz -E     #上传相关java的环境包
[root@node1 opt]# tar xzvf jdk-8u91-linux-x64.tar.gz -C /usr/local/
[root@node1 opt]# cd /usr/local/
[root@node1 local]# mv jdk1.8.0_91 jdk    #重命名未jdk
[root@node1 ~]# vim /etc/profile
...                                       #末行添加
export JAVA_HOME=/usr/local/jdk
export JRE_HOME=${JAVA_HOME}/jreexport CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

[root@node1 ~]# source /etc/profile
[root@node1 ~]# java -version
java version "1.8.0_91"
Java(TM) SE Runtime Environment (build 1.8.0_91-b14)
Java HotSpot(TM) 64-Bit Server VM (build 25.91-b14, mixed mode)

node2服务器

[root@node2 ~]# cd /opt/
[root@node2 opt]# rz -E     #上传相关java的环境包
[root@node2 opt]# tar xzvf jdk-8u91-linux-x64.tar.gz -C /usr/local/
[root@node2 opt]# cd /usr/local/
[root@node2 local]# mv jdk1.8.0_91 jdk    #重命名未jdk
[root@node2 ~]# vim /etc/profile
...                                       #末行添加
export JAVA_HOME=/usr/local/jdk
export JRE_HOME=${JAVA_HOME}/jreexport CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

[root@node2 ~]# source /etc/profile
[root@node2 ~]# java -version
java version "1.8.0_91"
Java(TM) SE Runtime Environment (build 1.8.0_91-b14)
Java HotSpot(TM) 64-Bit Server VM (build 25.91-b14, mixed mode)

4.部署elasticsearch软件

两台node服务器都配置（node1、node2）

[root@node1 local]# cd /opt/
[root@node1 opt]# rz -E        #上传elasticsearch-5.5.0.rpm到/opt目录下
[root@node1 opt]# rpm -ivh elasticsearch-5.5.0.rpm
[root@node1 opt]# systemctl daemon-reload                 #加载系统服务
[root@node1 opt]# systemctl enable elasticsearch.service  #自启动开启服务

#跟改elasticsearch配置文件
[root@node1 ~]# mkdir -p /data/elk_data     #创建数据存放的目录
[root@node1 ~]# cd /etc/elasticsearch/
[root@node1 elasticsearch]# ls
elasticsearch.yml  jvm.options  log4j2.properties  scripts   #查看是否有.yml结尾的文件
[root@node1 elasticsearch]# cp elasticsearch.yml elasticsearch.yml.bak
[root@node1 elasticsearch]# vim /etc/elasticsearch/elasticsearch.yml
...
cluster.name: my-elk-cluster       #17行；取消注释，修改；集群名字
node.name: node1                   #23行；取消注释，修改；节点名字
path.data: /data/elk_data          #33行；取消注释，修改；数据存放路径（需要有这个目录）
path.logs: /var/log/elasticsearch  #37行；取消注释，修改；日志存放路径
bootstrap.memory_lock: false       #43行；取消注释，修改；不在启动的时候锁定内存
network.host: 0.0.0.0              #55行；取消注释，修改；提供服务绑定的IP地址，0.0.0.0代表所有地址
http.port: 9200                    #59行；取消注释；侦听端口为9200（默认）
discovery.zen.ping.unicast.hosts: ["node1", "node2"]   #68行；取消注释，修改；集群发现通过单播实现，指定要发现的节点 node1、node2

#创建数据存放路径并授权，并启动服务
[root@node1 elasticsearch]# chown elasticsearch:elasticsearch /data/elk_data/
[root@node1 elasticsearch]# systemctl start elasticsearch.service
[root@node1 elasticsearch]# netstat -antp | grep 9200
tcp6       0      0 :::9200                 :::*                    LISTEN      79995/java  
[root@node2 local]# cd /opt/
[root@node2 opt]# rz -E        #上传elasticsearch-5.5.0.rpm到/opt目录下
[root@node2 opt]# rpm -ivh elasticsearch-5.5.0.rpm
[root@node2 opt]# systemctl daemon-reload                 #加载系统服务
[root@node2 opt]# systemctl enable elasticsearch.service  #自启动开启服务

#跟改elasticsearch配置文件
[root@node2 ~]# mkdir -p /data/elk_data     #创建数据存放的目录
[root@node2 ~]# cd /etc/elasticsearch/
[root@node2 elasticsearch]# ls
elasticsearch.yml  jvm.options  log4j2.properties  scripts   #查看是否有.yml结尾的文件
[root@node2 elasticsearch]# cp elasticsearch.yml elasticsearch.yml.bak
[root@node2 elasticsearch]# vim /etc/elasticsearch/elasticsearch.yml
...
cluster.name: my-elk-cluster       #17行；取消注释，修改；集群名字
node.name: node2                   #23行；取消注释，修改；节点名字
path.data: /data/elk_data          #33行；取消注释，修改；数据存放路径（需要有这个目录）
path.logs: /var/log/elasticsearch  #37行；取消注释，修改；日志存放路径
bootstrap.memory_lock: false       #43行；取消注释，修改；不在启动的时候锁定内存
network.host: 0.0.0.0              #55行；取消注释，修改；提供服务绑定的IP地址，0.0.0.0代表所有地址
http.port: 9200                    #59行；取消注释；侦听端口为9200（默认）
discovery.zen.ping.unicast.hosts: ["node1", "node2"]   #68行；取消注释，修改；集群发现通过单播实现，指定要发现的节点 node1、node2

#创建数据存放路径并授权，并启动服务
[root@node2 elasticsearch]# chown elasticsearch:elasticsearch /data/elk_data/
[root@node2 elasticsearch]# systemctl start elasticsearch.service
[root@node2 elasticsearch]# netstat -antp | grep 9200
tcp6       0      0 :::9200                 :::*                    LISTEN      81926/java

在浏览器查看节点信息（浏览页面显示着节点名称、集群名称、版本信息等。）

检验集群健康状态

5.安装elasticsearch-head插件

node1服务器

[root@node1 ~]# yum -y install gcc gcc-c++ make
[root@node1 ~]# cd /opt/
[root@node1 opt]# rz -E        #上传软件包 node-v8.2.1.tar.gz 到/opt目录，并解压安装
[root@node1 opt]# tar xzvf node-v8.2.1.tar.gz
[root@node1 opt]# cd /opt/node-v8.2.1/
[root@node1 node-v8.2.1]# ./configure
[root@node1 node-v8.2.1]# make -j4 && make install  #配置、编译、安装

#安装phantomjs前端框架
[root@node1 opt]# rz -E     #上传相关软件包phantomjs-2.1.1-linux-x86_64.tar.bz2
[root@node1 opt]# tar jxvf phantomjs-2.1.1-linux-x86_64.tar.bz2 -C /usr/local/src/
[root@node1 opt]# cd phantomjs-2.1.1-linux-x86_64/
[root@node1 phantomjs-2.1.1-linux-x86_64]# ls
bin  ChangeLog  examples  LICENSE.BSD  README.md  third-party.txt   #有个/bin目录
[root@node1 phantomjs-2.1.1-linux-x86_64]# cd bin/
[root@node1 bin]# ls
phantomjs
[root@node1 bin]# cp phantomjs /usr/local/bin/

#安装elasticsearch-head数据可视化工具
[root@node1 opt]# rz -E     #上传相关软件包elasticsearch-head.tar.gz
[root@node1 opt]# cd /usr/local/src/elasticsearch-head/
[root@node1 elasticsearch-head]# npm install   #使用npm工具安装

#修改主配置文件
[root@node1 ~]# vim /etc/elasticsearch/elasticsearch.yml
...                             #末尾;添加以下内容
http.cors.enabled: true         #开启跨域访问支持，默认为 false
http.cors.allow-origin: "*"     #指定跨域访问允许的域名地址为所有

[root@node1 ~]# systemctl restart elasticsearch.service
[root@node1 ~]# cd /usr/local/src/elasticsearch-head/
[root@node1 elasticsearch-head]# npm run start &
[1] 126392
[root@node1 elasticsearch-head]# 
> elasticsearch-head@0.0.0 start /usr/local/src/elasticsearch-head
> grunt server

Running "connect:server" (connect) task
Waiting forever...
Started connect web server on http://localhost:9100

[root@node1 elasticsearch-head]# netstat -natp | grep 9100
tcp        0      0 0.0.0.0:9100            0.0.0.0:*               LISTEN      126402/grunt

node2服务器

[root@node2 ~]# yum -y install gcc gcc-c++ make
[root@node2 ~]# cd /opt/
[root@node2 opt]# rz -E        #上传软件包 node-v8.2.1.tar.gz 到/opt目录，并解压安装
[root@node2 opt]# tar xzvf node-v8.2.1.tar.gz
[root@node2 opt]# cd /opt/node-v8.2.1/
[root@node2 node-v8.2.1]# ./configure
[root@node2 node-v8.2.1]# make -j4 && make install  #配置、编译、安装

#安装phantomjs前端框架
[root@node2 opt]# rz -E     #上传相关软件包phantomjs-2.1.1-linux-x86_64.tar.bz2
[root@node2 opt]# tar jxvf phantomjs-2.1.1-linux-x86_64.tar.bz2 -C /usr/local/src/
[root@node2 opt]# cd phantomjs-2.1.1-linux-x86_64/
[root@node2 phantomjs-2.1.1-linux-x86_64]# ls
bin  ChangeLog  examples  LICENSE.BSD  README.md  third-party.txt   #有个/bin目录
[root@node2 phantomjs-2.1.1-linux-x86_64]# cd bin/
[root@node2 bin]# ls
phantomjs
[root@node2 bin]# cp phantomjs /usr/local/bin/

#安装elasticsearch-head数据可视化工具
[root@node2 opt]# rz -E     #上传相关软件包elasticsearch-head.tar.gz
[root@node2 opt]# cd /usr/local/src/elasticsearch-head/
[root@node2 elasticsearch-head]# npm install   #使用npm工具安装

#修改主配置文件
[root@node12 ~]# vim /etc/elasticsearch/elasticsearch.yml
...                             #末尾;添加以下内容
http.cors.enabled: true         #开启跨域访问支持，默认为 false
http.cors.allow-origin: "*"     #指定跨域访问允许的域名地址为所有

[root@node2 ~]# systemctl restart elasticsearch.service
[root@node2 ~]# cd /usr/local/src/elasticsearch-head/
[root@node2 elasticsearch-head]# npm run start &
[1] 128215
[root@node1 elasticsearch-head]# 
> elasticsearch-head@0.0.0 start /usr/local/src/elasticsearch-head
> grunt server

Running "connect:server" (connect) task
Waiting forever...
Started connect web server on http://localhost:9100

[root@node1 elasticsearch-head]# netstat -natp | grep 9100
tcp        0      0 0.0.0.0:9100            0.0.0.0:*               LISTEN      126402/grunt

使用elasticsearch-head插件查看集群状态

浏览器登录http://192.168.150.10/9100

浏览器登录http://192.168.150.20/9100

命令行创建索引

这里我们在node1节点创建名为index-demo的索引,类型为test。

[root@node1 ~]# curl -XPUT 'localhost:9200/index-demo/test/1?pretty&pretty' -H 'content-Type: application/json' -d '{"user":"zhangsan","mesg":"hello world"}'
{
 "_index" : "index-demo",
  "_type" : "test",
  "_id" : "1",
  "_version" : 1,
  "result" : "created",
  "_shards" : {
    "total" : 2,
    "successful" : 2,
    "failed" : 0
  },
  "created" : true
}

6.安装logstash日志收集工具(apache)

[root@apache ~]# yum install httpd -y
[root@apache ~]# systemctl start httpd.service
#安装Java环境，将jdk包上传到/opt目录下，解压并添加到系统管理
[root@apache ~]# cd /opt/
[root@apache opt]# rz -E     #安装java相关软件包
[root@apache opt]# tar xzvf jdk-8u91-linux-x64.tar.gz -C /usr/local/
[root@apache opt]# cd /usr/local/
[root@apache local]# mv jdk1.8.0_91/ jdk
[root@apache local]# vim /etc/profile   #在末尾添加系统管理，
...
	export JAVA_HOME=/usr/local/jdk
	export JRE_HOME=${JAVA_HOME}/jreexport CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
	export PATH=${JAVA_HOME}/bin:$PATH

[root@apache local]# source /etc/profile
[root@apache local]# java -version
java version "1.8.0_91"
Java(TM) SE Runtime Environment (build 1.8.0_91-b14)
Java HotSpot(TM) 64-Bit Server VM (build 25.91-b14, mixed mode)

#安装logstash相关软件
[root@apache ~]# cd /opt
[root@apache ~]# rz -E      #上传相关软件包logstash-5.5.1.rpm
[root@apache opt]# rpm -ivh logstash-5.5.1.rpm
[root@apache opt]# systemctl start logstash.service 
[root@apache opt]# systemctl enable logstash.service

#建立logstash软连接
[root@apache opt]# ln -s /usr/share/logstash/bin/logstash /usr/local/bin/

logstash命令介绍

测试logstash (Apache)与elasticsearch (node) 功能是否正常

logstash命令字段描述解释：

-f：通过这个选项可以指定logstash的配置文件，根据配置文件配置logstash

-e：后面跟着字符串 该字符串可以被当做logstash的配置（如果是” ”,则默认使用stdin做为输入、

stdout作为输出）

-t：测试配置文件是否正确，然后退出

(1)定义输入和输出流：输入采用标准输入，输出采用标准输出（类似管道），标准是指对输入的信息不做任何修改就输出。注：输入命令稍作等待。

命令：logstash -e 'input { stdin{} } output { stdout{} }' 

(2)使用rubydebug显示详细输出，codec为一种编解码器

命令：logstash -e 'input { stdin{} } output { stdout{ codec=>rubydebug} }'

(3)使用 Logstash 将信息写入 Elasticsearch数据库中

命令：ogstash -e 'input { stdin{} } output { elasticsearch { hosts=>["192.168.150.10:9200"] } }'

7.配置对接测试（apache） 

在Apache主机上做对接配置，Logstash配置文件主要由三部分组成：input、output、filter

[root@apache ~]# ll /var/log/messages                  #查看系统日志目录下日志文件权限
-rw-------. 1 root root 573707 11月 18 22:02 /var/log/messages
[root@apache ~]# chmod o+r /var/log/messages           #给其他用户添加读权限
[root@apache ~]# ll /var/log/messages                  #查看是否添加上
-rw----r--. 1 root root 574303 11月 18 22:02 /var/log/messages
[root@apache ~]# vim /etc/logstash/conf.d/system.conf  #创建并编辑logstash配置文件
input {
       file{
        path => "/var/log/messages"
        type => "system"
        start_position => "beginning"
        }
      }
output {
        elasticsearch {
          hosts => ["192.168.150.10:9200"]
          index => "system-%{+YYYY.MM.dd}"
          }
        }

[root@apache ~]# systemctl restart logstash.service

8.安装kibana可视化平台

前面部署都测试正常后，只在node1：192.168.150.10节点上部署kibana

[root@node1 ~]# cd /opt/
[root@node1 opt]# rz -E              #上传kibana相关软件包
[root@node1 opt]# rpm -ivh kibana-5.5.1-x86_64.rpm
[root@node1 opt]# cd /etc/kibana/    #备份kibana配置文件
[root@node1 kibana]# cp kibana.yml kibana.yml.bak
[root@node1 kibana]# vim kibana.yml  #编辑修改配置文件
...
server.port: 5601                    #2行；取消注释；kibana打开的端口（默认5601）
server.host: "0.0.0.0"               #7行；取消注释，修改；kibana侦听的地址
elasticsearch.url: "http://192.168.150.10:9200"   #21行；取消注释，修改；和elasticsearch建立联系
kibana.index: ".kibana"              #30行;取消注释；在elasticsearch中添加.kibana索引    		

[root@node1 kibana]# systemctl start kibana.service   #启动服务
[root@node1 kibana]# systemctl enable kibana.service  #设置开机自启

在宿主机浏览器访问192.168.150.10:5601（5601是kibana端口） 

对接Apache主机的Apache 日志文件（访问日志、错误日志） 

[root@apache ~]# vim /etc/logstash/conf.d/apache_log.conf
 input {
     file{
        path => "/etc/httpd/logs/access_log"
        type => "access"
        start_position => "beginning"
      }
     file{
        path => "/etc/httpd/logs/error_log"
        type => "error"
        start_position => "beginning"
      }
}
output {
    if [type] == "access" {
        elasticsearch {
          hosts => ["192.168.150.10:9200"]
          index => "apache_access-%{+YYYY.MM.dd}"
        }
    }
    if [type] == "error" {
        elasticsearch {
          hosts => ["192.168.150.10:9200"]
          index => "apache_error-%{+YYYY.MM.dd}"
        }
    }
}
 
[root@apache ~]# /usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/apache_log.conf
#使用logstash命令指定使用apache_log.conf配置文件输入输入

Zlwriii
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
elasticsearch与kibana踩过的坑及其解决方案
weixin_43178406的博客
01-09 2803
1. kibana 2. elasticseatch
运维必备——ELK日志分析系统
礁之的博客
12-17 1万+
日志分析是运维工程师解决系统故障、发现问题的主要手段
ELK日志分析系统
最新发布
sea_bunch的博客
04-18 1189
提供了一个分布式多用户能力的全文搜索引擎，例如百度。而且它是由java开发的，可通过RESTful web接口，可让用户通过浏览器和Elasticsearch。通常用于是索引和搜索大容量的日志，也可以搜索许多不同类型的文档解释：RESTful webget 获取post 创建put 更新delete 删除get 搜索值一款强大的数据处理工具，可实现数据传输、格式处理、格式化输出，数据输入、数据加工（如过滤、改写等）记忆数据输出。
ELK 日志分析
路人甲的博客
11-22 4562
文章目录一、为什么用到 ELK二、ELK 简介三、实验部署3.1 准备工作3.2 下载并安装软件包3.3 安装 JDK(java)环境工具3.4 配置 elasticsearch3.4.1 新建 elasticsearch 用户并启动3.4.2 查看进程是否启动成功3.4.3 若出现错误可以查看日志3.4.4 测试是否可以正常访问3.5 配置 logstash3.5.1 logstash 中 grok 的正则匹配3.5.2 创建 logstash 配置文件3.5.3 启动3.6 配置 kibana3.6.1
快速搭建ELK日志分析系统
01-27
ELK是Elasticsearch、Logstash、Kibana的简称，这三...Logstash是一个用来搜集、分析、过滤日志的工具。它支持几乎任何类型的日志，包括系统日志、错误日志和自定义应用程序日志。它可以从许多来源接收日志，这些来源包
ELK日志分析系统搭建
05-01
ELK(Elasticsearch、Logstash和Kibana) 日志分析 系统搭建
ELK日志分析系统.pptx
01-04
ELK Stack 日志分析系统 ELK Stack 是一个开源的日志分析系统，由 Elasticsearch、Logstash 和 Kibana 三个组件组成。该系统能够实时地收集、存储和分析日志数据，并提供可视化的查询和分析功能。 ELK Stack 的...
Centos7下搭建ELK日志分析系统
11-02
本文档记录了个人在centos7环境下搭建ELK日志分析系统的步骤及遇到的问题、处理记录。明细罗列了本次搭建的系统环境和软件版本，操作系统为centos7.6,elk对应版本为7.9.3, redis版本为6.0.6。受限于更明细的环境差别...
开源实时日志分析ELK系统搭建说明
04-27
自己通过5天时间在Ubuntu14.04 Server亲自搭建master节点和node节点，实验成功后亲自编写的《开源实时日志分析ELK系统搭建说明》，分虽然高一些，但是内容看了很值得，包含搭建、实验、排错等环节，谢谢大家~。
ELK日志分析工具
zhouziyu00的博客
07-19 1249
ELK 概述 一、ELK简介 1ELK平台由ElasticSearch、Logstash 和 Kiabana 三个开源工具组成 1，ElasticSearch：是基于Lucene（一个全文检索引擎的架构）开发的分布式存储检索引擎，用来存储各类日志。 优点是能对大容量的数据进行接近实时的存储、搜索和分析操作。 2，Logstash：作为数据收集引擎。一款强大的数据处理工具， 可以实现数据传输、格式处理、格式化输出。 3，Kiabana：是基于 Node.js 开发的展示工具，可以为 Logstash
记录kibana遇到的问题
cat marshal的博客
09-03 2470
1登录错误 Login is currently disabled. Administrators should consult the Kibana logs 解决方法：把配的elasticsearc服务器前面的”#“去掉 #服务器地址因人而异 * * * #elasticsearch.url: "http://192.168.63.131:9200"改为 elasticsearc...
抓包那些事——四大抓包神器简介
u013332124的专栏
11-16 1万+
文章目录一、概述二、Wireshark过滤语法简单介绍优缺点三、Tcpdumptcpdump的简单使用介绍优缺点四、Charles优缺点五、mitmproxy安装使用1. 请求过滤2. 请求拦截3. 查看/编辑请求4. 重发请求5. 插件开发6. 保存抓到的请求数据优缺点附录六、总结 一、概述 无论是开发还是测试，在工作中经常会遇到需要抓包的时候。本篇博客主要介绍如何在各个平台下，高效的抓包。目前...
ELK 实时日志分析平台环境搭建
http://www.54tianzhisheng.cn/
12-26 6347
简单介绍ELK（ElasticSearch, Logstash, Kibana），三者组合在一起搭建实时的日志分析平台，目前好多公司都是这套！ - Elasticsearch 是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful 风格接口，多数据源，自动搜索负载等。 - Logstash 是一个完全开源的工具，他可以对你的日志进行收集、过滤
开源实时日志分析ELK平台部署【入门篇】
Black Dragon 的个人博客
06-23 1万+
通常，日志被分散的储存不同的设备上。如果你管理数十上百台服务器，你还在使用依次登录每台机器的传统方法查阅日志。这样是不是感觉很繁琐和效率低下。当务之急我们使用集中化的日志管理，例如：开源的syslog，将所有服务器上的日志收集汇总。 集中化管理日志后，日志的统计和检索又成为一件比较麻烦的事情，一般我们使用grep、awk和wc等Linux命令能实现检索和统计，但是对于要求更高的查询、排序和统计等要求和庞大的机器数量依然使用这样的方法难免有点力不从心
ELK日志系统浅析与部署
热门推荐
Mars
06-22 3万+
一、ELK应用场景在复杂的企业应用服务群中,记录日志方式多种多样，并且不易归档以及提供日志监控的机制。无论是开发人员还是运维人员都无法准确的定位服务、服务器上面出现的种种问题，也没有高效搜索日志内容从而快速定位问题的方式。因此需要一个集中式、独立的、搜集管理各个服务和服务器上的日志信息，集中管理，并提供良好的UI界面进行数据展示，处理分析。得此：ELK提供一套开源的解决方案，能高效、简便的满足以上...
ELK日志处理之使用Grok解析日志
1.02^365=1377.41
03-17 2万+
介绍如何在logstash中使用Grok和正则表达式解析任意格式日志，以及Grok Debugger的使用。
ELK日志分析系统的工作原理
02-28
ELK日志分析系统是由三个主要组件组成的：Elasticsearch、Logstash 和 Kibana。 1. Elasticsearch 是一个开源搜索引擎，它能够存储和查询大量的日志数据。 2. Logstash 是一个数据收集和处理工具，它能够从多个...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值