elk日志分析系统

最新推荐文章于 2024-08-01 16:22:39 发布
最新推荐文章于 2024-08-01 16:22:39 发布
阅读量587 收藏
点赞数
分类专栏： 集群
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Ryougi_Shiki_uio/article/details/119697023
版权

目录

elk介绍

elk日志简化分析的管理工具，由Elasticsearch(ES)、Logstash、Kibana三个开源工具组成，官方网站: https://www.elastic.co/products

ES(nosql非关数据库)：存储功能和索引
Logstash(收集日志)：到应用服务器上拿取log,并进行格式转换后输出到es中
通过input功能来收集/采集log
filter过滤器：格式化数据
output输出：日志输出到es数据库内
Kibana(展示工具)：将es内的数据在浏览器展示出来，通过UI界面展示(可以根据自己的需求对日志进行处理，方便查阅读取)

日志处理过程

Logstash收集AppServer产生的Log,并将log进行集中化管理，将日志格式化(Logstash) 并存放，ElasticSearch集群中，对格式化后的数据进行索引|和存储( Elasticsearch)，Kibana则从Es集群中查询数据生成图表，再返回给browsers。

elasticsearch介绍

Elasticsearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTfu1web接口。
Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是第二流行的企业搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。

logstash介绍

Logstash由JRuby语言编写，基于消息(message-based)的简单架构，并运行在Java虚拟机（JVWM)上。不同于分离的代理端( agent)或主机端（server),LogStash可配置单一的代理端（agent）与其它开源软件结合，以实现不同的功能。

kibana介绍

Kibana是一个针对Elasticsearch的开源分析及可视化平台，用来搜索、查看交互存储在Elasticsearch索引中的数据。使用Kibana，可以通过各种图表进行高级数据分析及展示。Kibana让海量数据更容易理解。它操作简单，基于浏览器的用户界面可以快速创建仪表板（ dashboard)实时显示Elasticsearch查询动态。设置Kibana非常简单。无需编写代码，几分钟内就可以完成Kibana安装并启动Elasticsearch索引监测。

搭建elk

搭建elasticsearch

#节点一
#上传elasticsearch至opt目录下
[root@node1 ~]# cd /opt
[root@node1 opt]# rpm -ivh elasticsearch-5.5.0.rpm

#加载系统服务
[root@node1 opt]# systemctl daemon-reload 
[root@node1 opt]# systemctl enable elasticsearch.service

#对配置文件做备份后再进行编辑
[root@node1 opt]# cp /etc/elasticsearch/elasticsearch.yml /etc/elasticsearch/elasticsearch.yml.bak
[root@node1 opt]# vim /etc/elasticsearch/elasticsearch.yml

cluster.name: my-elk-cluster	#17行取消注释并修改
node.name: node1		#23行取消注释
path.data: /data/elk_data	#33行取消注释并修改数据存放路径
path.logs: /var/log/elasticsearch/	#37行取消注释修改日志存放路径
bootstrap.memory_lock: false	#43行修改为不在启动时锁定内存
network.host: 0.0.0.0		#55行修改服务监听的ip地址
http.port: 9200		#59行取消注释，监听端口为9200
discovery.zen.ping.unicast.hosts: ["node1", "node2"]	#68行修改节点名，集群的发现通过单播进行
#查看配置信息
[root@node1 opt]# grep -v "^#" /etc/elasticsearch/elasticsearch.yml
cluster.name: my-elk-cluster
node.name: node-1
path.data: /data/elk_data
path.logs: /var/log/elasticsearch/
bootstrap.memory_lock: false
network.host: 0.0.0.0
http.port: 9200
discovery.zen.ping.unicast.hosts: ["node1", "node2"]


[root@node1 opt]# mkdir -p /data/elk_data
[root@node1 opt]# chown elasticsearch:elasticsearch /data/elk_data/

[root@node1 opt]# systemctl start elasticsearch.service 	#由于elasticsearch启动比较慢，所以一开始查看9200端口可以看不到
[root@node1 opt]# netstat -anpt |grep 9200
tcp6       0      0 :::9200                 :::*                    LISTEN      32352/java

#节点二配置
#把软件包上传至opt目录下
[root@node2 ~]# cd /opt
[root@node2 opt]# ls
elasticsearch-5.5.0.rpm  redis-5.0.7  rh
[root@node2 opt]# rpm -ivh elasticsearch-5.5.0.rpm

#对配置文件做备份后再进行编辑
[root@node1 opt]# cp /etc/elasticsearch/elasticsearch.yml /etc/elasticsearch/elasticsearch.yml.bak
[root@node1 opt]# vim /etc/elasticsearch/elasticsearch.yml

cluster.name: my-elk-cluster	#17行取消注释并修改
node.name: node2		#23行取消注释
path.data: /data/elk_data	#33行取消注释并修改数据存放路径
path.logs: /var/log/elasticsearch/	#37行取消注释修改日志存放路径
bootstrap.memory_lock: false	#43行修改为不在启动时锁定内存
network.host: 0.0.0.0		#55行修改服务监听的ip地址
http.port: 9200		#59行取消注释，监听端口为9200
discovery.zen.ping.unicast.hosts: ["node1", "node2"]	#68行修改节点名，集群的发现通过单播进行
查看节点信息
[root@node2 opt]# grep -v "^#" /etc/elasticsearch/elasticsearch.yml
cluster.name: my-elk-cluster
node.name: node2
path.data: /data/elk_data
path.logs: /var/log/elasticsearch/
bootstrap.memory_lock: false
network.host: 0.0.0.0
http.port: 9200
discovery.zen.ping.unicast.hosts: ["node1", "node2"]


[root@node1 opt]# systemctl start elasticsearch.service
[root@node1 opt]# netstat -anpt |grep 9200
tcp6       0      0 :::9200                 :::*                    LISTEN      32352/java

在这里插入图片描述
在这里插入图片描述
查看集群健康信息
在这里插入图片描述
查看集群状态信息
在这里插入图片描述

搭建elasticsearch-head插件管理集群

#在两个节点进行安装
[root@node1 opt]# yum -y install gcc gcc-c++ make
将node-v8.2.1.tar.gz解压到opt目录下
[root@node1 opt]# tar zxvf node-v8.2.1.tar.gz
[root@node1 opt]# cd node-v8.2.1/
[root@node1 node-v8.2.1]# ./configure
[root@node1 ~]# make -j3		#make编译时间大概10分钟
[root@node1 ~]# make install

#将elasticsearch-head.tar.gz、phantomjs-2.1.1-linux-x86_64.tar.bz2解压到/usr/local/src/目录下
[root@node1 opt]# tar jxvf phantomjs-2.1.1-linux-x86_64.tar.bz2 -C /usr/local/src/
[root@node1 ~]# cd /usr/local/src/phantomjs-2.1.1-linux-x86_64/bin
[root@node1 ~]# cp phantomjs /usr/local/bin

[root@node1 opt]# tar xzvf elasticsearch-head.tar.gz -C /usr/local/src/
[root@node1 ~]# cd /usr/local/src/elasticsearch-head
[root@node1 elasticsearch-head]# npm install	#使用npm工具进行安装
[root@node1 elasticsearch-head]# cd ~
[root@node1 ~]# vim /etc/elasticsearch/elasticsearch.yml	#进入配置文件，末尾添加
http.cors.enabled: true				#这两行表示支持跨域支持和域名支持
http.cors.allow-origin: "*"
[root@node1 ~]# systemctl restart elasticsearch
[root@node1 ~]# netstat -anpt |grep 9200
tcp6       0      0 :::9200                 :::*                    LISTEN      79942/java

[root@node1 ~]# cd /usr/local/src/elasticsearch-head/
[root@node1 elasticsearch-head]# npm run start &		#放在后台启动

在节点一上创建索引为index-demo，数据类型为test的数据
[root@node1 elasticsearch-head]# curl -XPUT 'localhost:9200/index-demo/test/1?pretty&pretty' -H 'content-Type:application/json' -d '{"user":"zhangsan","mesg":"hello world"}'
{
  "_index" : "index-demo",
  "_type" : "test",
  "_id" : "1",
  "_version" : 1,
  "result" : "created",
  "_shards" : {
    "total" : 2,
    "successful" : 2,
    "failed" : 0
  },
  "created" : true
}

访问192.168.218.214:9100
在这里插入图片描述
查看之前创建的数据信息
在这里插入图片描述

搭建logstash和kibana

在httpd服务器上安装
[root@localhost ~]# cd /opt
[root@localhost opt]# rpm -ivh logstash-5.5.1.rpm
[root@localhost opt]# systemctl start logstash.service
[root@localhost opt]# systemctl enable logstash.service
[root@localhost opt]# ln -s /usr/share/logstash/bin/logstash /usr/local/bin/	#创建软连接
[root@localhost opt]# chmod o+r /var/log/messages	#给这个文件添加其他人可读的权限，logstash需要读取这个文件

[root@localhost opt]# vim /etc/logstash/conf.d/system.conf		#这是一个空文件，需要插入内容
input {				#从/var/log/messages中获取数据
        file{
        path => "/var/log/messages"
        type => "system"
        start_position => "beginning"
        }
}
output {			#将文件内容输出到elasticsearch上
        elasticsearch {
        hosts => ["192.168.218.214:9200"]
        index => "system-%{+YYYY.MM.dd}"
        }
}


[root@localhost opt]# systemctl restart logstash.service


安装kibana
在节点一进行安装
[root@node1 elasticsearch-head]# cd /usr/local/src
[root@node1 src]# rpm -ivh kibana-5.5.1-x86_64.rpm
[root@node1 src]# cd /etc/kibana/
[root@node1 kibana]# cp kibana.yml kibana.yml.bak
[root@node1 kibana]# vim kibana.yml
server.port: 5601	#第2行打开kibana的端口
server.host: "0.0.0.0"	#第7行取消注释修改kibana监听端口
elasticsearch.url: "http://192.168.218.214:9200"	#第21行把地址修改为本机ip，用于和elasticsearch建立联系
kibana.index: ".kibana"	#30行取消注释

[root@node1 kibana]# systemctl start kibana.service
[root@node1 kibana]# systemctl enable kibana.service 
[root@node1 kibana]# netstat -anpt |grep 5601
tcp        0      0 0.0.0.0:5601            0.0.0.0:*               LISTEN      82549/node

访问192.168.218.214:9100
在这里插入图片描述
访问192.168.218.214:5601
在这里插入图片描述
在这里插入图片描述
创建完成后点击discover就可以查看系统日志信息了
在这里插入图片描述

Ryougi_Shiki_uio
关注
专栏目录
ELK日志分析系统概述及部署（图文详解）
愿你成为自己喜欢的模样，不抱怨，不将就，有自由，有光芒！
03-04 3350
文章目录一、ELK日志分析系统1、日志服务器2、日志处理步骤二、Elasticsearch概述1、Elasticsearch特性三、LogStash概述1、LogStash主要组件四、Kibana概述1、Kibana主要功能五、部署ELK日志分析系统1、实验需求2、环境配置 一、ELK日志分析系统 ELK有三部分组成 E：Elasticsearch L：Logstash K：Kibana 1、日志服务器 优点 提高安全性 集中化管理 缺点 对日志分析困难 2、日志处理步骤 1、将日志进行集中化管理
ELK日志分析系统
AWAKE-HU
04-10 339
什么是ELK: Elasticsearch: 基于lucene的开源分布式搜索服务器(类似于solr) 特点:分布式,零配置,分片索引,restful风格,多数据源 logStash 收集日志,过滤分析,并存储 Kibana 用于展示日志和分析结果 ELK原理 多个服务器的情况下,各个服务器都会产生不同服务器下不同路径的log文件如果每一台服务器都有一个filebeat把路径下的日...
ELK 日志分析系统
weixin_34302798的博客
10-08 590
大纲：一、简介二、Logstash三、Redis四、Elasticsearch五、Kinaba一、简介1、核心组成ELK由Elasticsearch、Logstash和Kibana三部分组件组成；Elasticsearch是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。Logstash...
ELK日志系统
最新发布
m0_71178834的博客
08-01 1184
1、es的主从和数据模式es数据库的主从类型 true false数据节点，是否保存数据，logstash发送数据，节点是否接受以及保存es如何创建，修改，删除数据 数据管理通过http的方式post方式修改数据创建数据对应的就是本地数据库的地址，ip+端口index-demo创建索引分片的名称test数据的名称或者数据的类型1数据的id字段?参数设定为json格式-d数据的具体内容修改数据删除数据。
ELK企业级日志分析系统概述及部署
王大雏的博客
07-20 1709
ELK企业级日志分析系统概述及部署一、ELK日志分析系统概述1、ELK简介2、为什么要使用ELK？3、完整日志系统基本特征4、ELK的工作原理5、ELK日志处理步骤二、Elasticsearch概述1、Elasticsearch特性三、LogStash概述1、LogStash主要组件四、Kibana概述1、Kibana主要功能五、部署ELK实验需求环境配置配置基础环境（一）ELK Elasticsearch 集群部署（在Node1、Node2节点上操作）1．环境准备2．部署 Elasticsearch 软件
Centos7下搭建ELK日志分析系统
11-02
【Centos7下搭建ELK日志分析系统】 ELK栈是日志管理和分析的强大工具，由Elasticsearch、Logstash、Kibana三个组件组成。Elasticsearch是一个分布式的实时搜索和分析引擎，用于存储、分析和检索大量数据。Logstash...
13-ELK日志分析系统.pdf
08-27
ELK日志分析系统是一套广泛应用于日志管理的开源工具集，它由Elasticsearch、Logstash和Kibana三个组件构成，它们各自负责不同的功能，以实现日志的收集、处理、存储和可视化分析。 首先，Elasticsearch是一个基于...
ELK-日志分析系统
热门推荐
二十同学
09-23 5万+
为什么要建立日志分析系统： 当我们需要进行日志分析场景：直接在日志文件中 grep、awk 就可以获得自己想要的信息。但在规模较大的场景中，此方法效率低下，面临问题包括日志量太大如何归档、文本搜索太慢怎么办、如何多维度查询。需要集中化的日志管理，所有服务器上的日志收集汇总。 解决办法是建立集中式日志收集系统，将所有节点上的日志统一收集，管理，访问。 一般大型系统是一个分布式部署的架构，不同的服务模块部署在不同的服务器上，问题出现时，大部分情况需要根据问题暴露的关键信息，定位到具体的服务器和服务模块，构
ELK日志收集系统概述
Arlssaze的博客
11-23 435
前言 日志分析是运维工程师解决系统故障，发现问题的主要手段。日志主要包括系统日志应用程序日志和安全日志 系统运维和开发人员可以通过日志了解服务器软硬件信息检查配过程中的错误及错误发生的原因。经常分析日志可以了解服务器的负荷，性能安全性，从而及时采取措施纠正错误 通常，日志被分散的储存在不同的设备上。如果你管理数十上百台服务器，你还在使用依次登录每台机器的传统方法查阅日志，既繁琐又效率低下。为此，我们可以使用集中化的日志管理，例如：开源的 syslog，将所有服务器上的日志收集汇总 集中化管理日志后，
ELK——日志分析系统
DLZ的博客
01-19 477
ELK日志分析系统一.简介日志服务器缺陷结构分析 一.简介 日志服务器 提高安全性 集中存放日志 缺陷 对日志的分析困难 结构分析 AppServer(客户端)——Logtash/Agent(收集、输出日志)——>ElasticSerach/Cluster(索引数据库)——>Kibana(日志展示工具)Server——>Browser ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值