ELK 企业级日志分析系统

于 2024-04-11 17:34:32 发布
阅读量1.1k 收藏 30
点赞数 13
文章标签： elk
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_55707333/article/details/137597029
版权

文章目录

ELK 企业级日志分析系统

ELK 企业级日志分析系统是一个开源的日志管理解决方案，由三个核心组件组成：Elasticsearch、Logstash 和 Kibana。这三个组件共同工作，帮助用户收集、存储、搜索、分析和可视化日志数据。

  1. Elasticsearch：一个高度可扩展的开源全文搜索和分析引擎，用于存储和检索数据。Elasticsearch 基于 Lucene 构建，提供了一个分布式、支持多租户的全文搜索引擎，具有 HTTP Web 接口和无模式 JSON 文档。
  2. Logstash：一个服务器端数据处理管道，可以同时从多个来源采集数据，转换数据，然后将数据发送到诸如 Elasticsearch 等“存储”中。Logstash 具有丰富的插件生态，可以解析各种格式和类型的数据。
  3. Kibana：一个开源的数据可视化和分析工具，通常与 Elasticsearch 协同工作。Kibana 提供了可视化的界面，允许用户轻松地创建图表、表格和地图，以便更好地理解日志数据。
    ELK 系统广泛应用于日志分析、实时监控和系统性能监控等领域。通过这三个组件的组合，ELK 系统提供了一个强大的平台，适用于处理大规模日志数据。

ELK 的部署

Node节点 （至少需要2核CPU4G内存）
192.168.20.10
192.168.20.20
Apache节点
192.168.20.30
Kiabana
192.168.20.40

1安装jdk环境
下载 jdk环境rpm包 可以通过我的网盘分享下载jdk8的rpm安装包
下载完成后使用 rpm命令安装这个JDK环境,

rpm -i jdk-8u202-linux-x64.rpm

再使用rpm查看Java路径

rpm -qpc jdk-8u202-linux-x64.rpm

记住Java路径
这里是/usr/java/jdk1.8.0_202-amd64
在这里插入图片描述
新建一个环境变量子文件增加或修改环境变量

vim /etc/profile.d/java.sh

export JAVA_HOME=/usr/java/jdk1.8.0_202-amd64
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH

source /etc/profile.d/java.sh

版本更新成功
在这里插入图片描述

2部署Elasticsearch软件

下载并且安装Elasticsearch RPM 软件包

cd /opt
wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.0.2.rpm

在这里插入图片描述

rpm -i elasticsearch-5.0.2.rpm
systemctl daemon-reload    
systemctl enable elasticsearch.service
systemctl restart elasticsearch.service

刷新配置文件并且启动服务
在这里插入图片描述
备份并且修改elasticsearch主配置文件

cp /etc/elasticsearch/elasticsearch.yml /etc/elasticsearch/elasticsearch.yml.bak
vim /etc/elasticsearch/elasticsearch.yml

第十七行取消注释，cluster.name: 你想要的名字
在这里插入图片描述
第23行取消注释，修改你节点的名字IP
在这里插入图片描述
33行取消注释，指定数据存放路径path.data: /data/elk_data
37取消注释，指定日志存放路径path.logs: /var/log/elasticsearch/
在这里插入图片描述

43行取消注释关闭内存锁
在这里插入图片描述
55行取消注释将监听地址改为0.0.0.0监听所有地址
在这里插入图片描述
59行取消注释监听9200端口
在这里插入图片描述
68行取消注释设置集群发现通过单播实现，指定要发现的节点 可以是主机名也可以是IP，主机名需要在host文件中设置
在这里插入图片描述

cluster.name: xwm_jq
node.name: node1
path.data: /data/elk_data
path.logs: /var/log/elasticsearch/
bootstrap.memory_lock: false
network.host: 0.0.0.0
http.port: 9200
discovery.zen.ping.unicast.hosts: ["192.168.20.10", "192.168.20.20"]

创建/data/elk_data文件夹并且设置属组与属主，若是没有此文件夹就会报错导致elasticsearch无法启动

mkdir -p /data/elk_data
chown elasticsearch:elasticsearch /data/elk_data/

在这里插入图片描述
查看节点信息
浏览器访问 http://192.168.20.10:9200 、 http://192.168.20.20:9200 查看节点 Node1、Node2 的信息。
在这里插入图片描述
在这里插入图片描述
查看节点状态
在这里插入图片描述
green（绿色）， 表示节点健康运行。
绿色： 健康 数据和副本 全都没有问题
红色： 数据都不完整
黄色： 数据完整，但副本有问题发

查看集群状态
http://192.168.20.10:9200/_cluster/state?pretty
在这里插入图片描述
使用这种方式查看集群状态和服务器状态不够直观，可以使用Elasticsearch-head

安装Elasticsearch-head 插件

编译安装 node

到这里下载node源码包

在这里插入图片描述
解压缩node-v8.17.0.tar.gz 源码包

tar xfv  node-v8.17.0.tar.gz

在这里插入图片描述
安装编译依赖环境

yum -y install gcc gcc-c++ make

在这里插入图片描述

cd node-v8.17.0/
./configure
make -4j && make install

在这里插入图片描述
node编译安装完成

安装phantomjs

可以在官网下载
下载二进制文件包解压后可以直接使用

tar jxvf phantomjs-2.1.1-linux-x86_64.tar.bz2 -C /usr/local/src/
cd /usr/local/src/phantomjs-2.1.1-linux-x86_64/bin
cp phantomjs /usr/local/bin

在这里插入图片描述

安装 Elasticsearch-head 数据可视化工具

安装 Elasticsearch-head 数据可视化工具
#上传软件包 elasticsearch-head.tar.gz 到/opt

cd /opt
tar xfv elasticsearch-head.tar.gz
cd /opt/elasticsearch-head-5.0.0
npm install

在这里插入图片描述

插入索引

通过命令插入一个测试索引，索引为 index-demo，类型为 test。
curl -X PUT ‘localhost:9200/index-demo/test/1?pretty&pretty’ -H ‘content-Type: application/json’ -d ‘{“user”:“zhangsan”,“mesg”:“hello world”}’
//输出结果如下：
在这里插入图片描述
访问192.168.20.10:9100
在这里插入图片描述
可以看到它拥有一条索引

Logstash部署

在192.168.20.30机器上上传软件包 logstash-6.7.2.rpm 到/opt目录下

rpm -ivh logstash-6.7.2.rpm
systemctl start logstash.service
systemctl enable logstash.service
ln -s /usr/share/logstash/bin/logstash /usr/local/bin/

这是一张图片
测试 Logstash
使用 rubydebug 输出详细格式显示，codec 为一种编解码器
logstash -e ‘input { stdin{} } output { stdout{ codec=>rubydebug } }’
在这里插入图片描述
使用 Logstash 将信息写入 Elasticsearch 中

logstash -e 'input { stdin{} } output { elasticsearch { hosts=>["192.168.20.10:9200"] } }'
		        	 输入				输出			对接
www.baidu.com

在这里插入图片描述

生成了新的日志 logstash发送到ES的日志
可以通过修改配置文件 让收集系统日志/var/log/message，并将其输出到elasticsearch服务器上
首先让logstersh有读取日志的权限

 chmod +r /var/log/messages

在/etc/logstash/conf.d添加Logstash配置文件

vim /etc/logstash/conf.d/messages.conf

 input {
    file {
        path =>"/var/log/messages"
        type =>"messages"
        start_position =>"beginning"
        sincedb_path => "/etc/logstash/sincedb_path/log_progress"
        add_field => {"log_hostname"=>"${HOSTNAME}"}
    }
}

output {
    elasticsearch {
        hosts => ["192.168.20.10:9200", "192.168.20.20:9200"]
        index =>"messages-%{+YYYY.MM.DD}"
    }
}

mkdir /etc/logstash/sincedb_path/
touch /etc/logstash/sincedb_path/log_progress
chown logstash:logstash /etc/logstash/sincedb_path/log_progress
logstash -f messages.conf

在这里插入图片描述
可以看见多出了一个messages索引，说明配置文件完成

安装 Kiabana

在192.168.20.40安装

cd /opt 
wget https://artifacts.elastic.co/downloads/kibana/kibana-5.0.2-i686.rpm

在这里插入图片描述
使用 rpm命令安装Kibana

rpm -i kibana-5.0.2-i686.rpm

修改Kibana的配置文件

vim /etc/kibana/kabana.yul

#第二行取消注释
server.port: 5601
#第七行取消注释设置kabana需要监听的地址
server.host: "0.0.0.0"
#设置第二十八行置和 Elasticsearch 建立连接的地址和端口
elasticsearch.url: "http://192.168.20.10:9200"
#第三十行取消注释
kibana.index: ".kibana"

在这里插入图片描述
启动 Kibana 服务
systemctl start kibana.service
systemctl enable kibana.service
netstat -natp | grep 5601
验证 Kibana
浏览器访问 http://192.168.10.13:5601
第一次登录需要添加一个 Elasticsearch 索引：
Index name or pattern
在这里插入图片描述
elk配置完成

谢尉明
关注
  • 13
    点赞
  • 踩
  • 30
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
ELK企业级日志分析系统资源
05-15
ELK企业级日志分析系统资源
ELK企业日志分析系统部署实战！理论+实战！
01-09
文章目录前言一：理论部分1.1：什么是ELK日志分析系统？有什么作用？1.2：什么原因催生了ELK日志分析系统？1.3：ELK日志分析系统的开源工具解析1.3.1：Logstash解析1.3.2：ElasticSearch解析1.3.3：Kiabana解析1.4：...
ELK企业级日志分析系统
A_Xiao_CaiJI的博客
11-22 534
ELK日志分析系统ELK平台是一套完整的日志集中处理解决方案，将ElasticSearch、 Logstash 和Kiabana三个开源工具配合使用，完成更强大的用户对日志的查询、排序、统计需求。是基于Lucene (- 一个全文检索引擎的架构)开发的分布式存储检索引擎，用来存储各类日志。Elasticsearch是用Java 开发的，可通过RESTful Web接口，让用户可以通过浏览器与Elasticsearch 通信。
ELK 企业内部日志分析系统
07-14
Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便 ② Logstash 接收,处理,转发日志的工具 ...
ELK Stack企业级日志平台日志采集实战视频教程（6.6版本）
06-13
ELK Stack日志系统是目前企业应用最为广泛的一套日志解决方案。ELK分别表示：Elasticsearch , Logstash, Kibana , 它们都是开源软件。后面新增了一个FileBeat，它是...本套课程从零开始打造一个亿级日志收集分析平台。
ELK/ELFK(7.3 ) 企业PB级日志系统实战
06-17
本堂课引入Kafka 让Elastic Stack 能适应企业PB级的业务日志量并弥补传统ELk架构的不足 ? ★学完这门课程会获得什么？ ? 首先从零开始教你部署Elastic Stack系统, 详细讲解Elastic产品,包括 Kibana.Logstash,...
企业级elk安装部署文档.docx
05-24
按照文档，只需要修改IP地址即可安装部署elk日志系统。
LIXF-Cloud:基于Spring Cloud Greenwich.SR1，Spring Cloud OAuth2和Spring Cloud Netflix＆Element构建的微服务权限管理系统。系统特点：前分离，认证资源服务器分离，RBAC模型，第三方账号登录，多维度监控（Prometheus APM） ：Docker容器监控，MySQL监控，微服务JVM监控，Redis监控），服务预警（邮件预警，企业微信预警），Skywalking服务追踪，ELK日志系统，Nacos集中管理配置和服务，Sent
03-24
LIXF云微服务权限系统 ...集成ELK，集中管理日志，便于问题分析； 微服务Docker化，使用Docker Compose一键部署； 提供详细的使用文档和建造教程； 前初步请求参数校验，Excel导入导出，代码生成等。
elk-stack-guide-cn.pdf
09-11
Elastic Stack 是 原 ELK Stack 在 5.0 版本加入 Beats 套件后的新称呼。 Elastic Stack 在最近两年迅速崛起，成为机器数据分析，或者说实时日志处理领 域，开源界的第一选择。和传统的日志处理方案相比，Elastic ...
Logstash收集Tomcat集群日志的解决方案.txt
09-10
企业级elk收集tomcat日志
Linux高级架构师12期-视频教程网盘链接提取码下载.txt
12-27
L007-高级架构师-云计算概述与KVM虚拟化企业级实战-7节 L008-高级架构师12期-openstack云计算实战精讲(上)-9节 L009-高级架构师-openstack云计算实战精讲(下)-8节-wmv L010-高级架构师-云计算Docker生产实践-9节 ...
Kafka原理、集群、监控企业实战
06-19
kafka是一款分布式消息发布和订阅的系统，具有高性能和高吞吐率。它最初由LinkedIn公司...之前有报名过 《ELK/ELFK企业PB级日志系统实战》的同学建议学习本门课程 温馨提示： 课件在最后一节(课堂总结) 可以打包下载
微服务平台：基于SpringBoot2.x，SpringCloud和SpringCloudAlibaba并采用前分离的企业级微服务多租户系统架构。并附加组件化的思想实现高内聚低取代，项目代码简洁标注丰富的上手容易，适合学习和企业中使用。真正实现了基于RBAC，jwt和oauth2的无状态统一权限认证的解决方案，面向互联网设计同时适合B端和C端用户，支持CICD多环境部署，并提供应用管理方便第三方系统包括；企业级的认证系统，开发平台，应用监控，慢速SQL监控，统一日志，单点登录，Redis分布式高速缓存，配
01-30
前一级分离的企业级微服务架构 主要针对解决微服务和业务开发时常见的非功能性需求 深度定制Spring Security真正实现了基于RBAC ， jwt和oauth2的无状态统一权限认证的解决方案 提供应用管理，方便第三方系统接入，...
消息中间件加kibana的中文操作指南
02-25
MQ消息队列 是企业级互联网架构核心产品,具备低延迟,高并发,高可用,高可靠,支撑万亿级数据洪峰的分布式消息中间件. Kibana是一个开源的分析和可视化平台,设计用于和Elasticsearch一起工作。你用Kibana来搜索,查看,并...
分布式解决方案
06-18
主要讲解分布式系统中的三大核心问题 1.分布式锁 2.分布式事务 3.分布式日志收集 类似的还有分布式链路追踪，分布式缓存 ...带大家掌握真实企业级中如何解决分布式事务，带大家用ElK解决分布式系统中的日志收集问题。
新版 MySQL DBA 高级视频 基于MySQL 5.7 MySQL 8.0版本.rar
07-17
│ 07ELK模板收集mongo日志.mp4 │ mongodb.jpg │ Mongodb分享-贾海娇.pdf │ mongo数据库分享-张亚V1.pdf │ monogdb.conf │ ├─新版MySQL DBA综合实战班 第14天 │ │ 1_MHA手工切换和GTID支持.mp4 │ │ 2_...
基于 gin+gorm+redis+mysql 读写分离的电子商城.zip
最新发布
04-19
自1998年首次发布以来，MySQL以其卓越的性能、可靠性和可扩展性，成为全球范围内Web应用程序、企业级解决方案以及其他各种数据处理场景的首选数据库平台之一。 以下是对MySQL数据库的详细介绍： 核心特性与优势 ...
ELK+kafka+reyslog+filebeat企业级部署
05-20
ELK（Elasticsearch、Logstash、Kibana）是一个开源的日志管理和分析平台，能够帮助企业收集、存储、搜索、分析和可视化各种类型的日志数据。而Kafka是一个高吞吐量的分布式消息队列系统，可以用来收集和传输大规模的日志数据。Reyslog是一个开源的日志收集器，可以帮助企业从各种不同的数据源中收集日志数据。Filebeat是一个轻量级的日志收集工具，可以帮助企业从各种不同的文件中收集日志数据。 以下是ELK+kafka+reyslog+filebeat企业级部署的步骤： 1. 安装和配置Elasticsearch、Logstash和Kibana，并确保它们能够正常运行。可以使用docker-compose等工具来简化部署过程。 2. 安装和配置Kafka，并创建一个主题(topic)用于存储日志数据。 3. 安装和配置Reyslog，并将其配置为从各种不同的数据源中收集日志数据，并将其发送到Kafka主题(topic)中。 4. 安装和配置Filebeat，并将其配置为从各种不同的文件中收集日志数据，并将其发送到Kafka主题(topic)中。 5. 在Kibana中创建一个索引(index)，并定义一个包含所有必需字段的映射(mapping)。然后，使用Logstash来将从Kafka主题(topic)中接收到的日志数据转换为适合索引(index)的格式，并将其存储在Elasticsearch中。 6. 在Kibana中创建一个仪表板(dashboard)，并使用其可视化功能来呈现和分析日志数据。可以使用各种不同的可视化插件来创建自定义可视化效果。 7. 部署整个系统，并定期监控其性能和可用性，以确保其正常运行。 总之，ELK+kafka+reyslog+filebeat企业级部署需要进行一系列复杂的配置和设置，需要具备一定的技术知识和实践经验。建议企业可以考虑使用专业的日志管理和分析平台，如Splunk等，以简化部署和管理过程。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值