搭建ELK+Filebead+zookeeper+kafka实验

最新推荐文章于 2024-10-31 15:04:59 发布
最新推荐文章于 2024-10-31 15:04:59 发布
阅读量667 收藏 2
点赞数 1
分类专栏： ELK 文章标签： kafka elk zookeeper
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_57515995/article/details/126681337
版权

文章目录

一、ELK+Filebeat+kafka+zookeeper架构

在这里插入图片描述

架构图分别演示

第一层：数据采集层

  • 数据采集层位于最左边的业务服务集群上，在每个业务服务器上面安装了filebead做日志收集，然后把采集到的原始日志发送到kafka+zookeeper集群上。

第二层：消息队列层

  • 原始日志发送到kafka+zookeeper集群上后，会进行集中存储，此时filebead是消息的生产者，存储的消息可以随时被消费。

第三层：数据分析层

  • logstash作为消费者，回去kafka+zookeeper集群节点时实拉去原始日志，然后将获取到的原始日志根据规则进行分析、格式化处理，最后将格式化的日志转发至Elasticsearch集群中。

第四层：数据持久化存储

  • Elasticsearch集群接收到logstash发送过来的数据后，执行写入磁盘，建立索引等操作，最后将结构化数据存储到Elasticsearch集群上。

第五层：数据查询，展示层

  • kibana是一个可视化的数据展示平台，当有数据检索请求时，它从Elasticsearch集群上读取数据，然后进行可视化出图和多维度分析.

二、搭建ELFK+zookeeper+kafka

主机名ip地址所属集群安装软件包
filebead20.0.0.55数据层级层filebead+apache
kafka120.0.0.56kafka+zookeeper集群kafka+zookeeper
kafka220.0.0.57kafka+zookeeper集群kafka+zookeeper
kafka320.0.0.58kafka+zookeeper集群kafka+zookeeper
logstash20.0.0.59数据处理层logstash
node120.0.0.60ES集群Eslasticsearch+node+phantomis+head
node220.0.0.61ES集群+kibana展示Elasticsearch+node+phantomis+head+kibana

1、安装kafka+zookeeper集群(20.0.0.55、20.0.0.56、20.0.0.57)

2、安装zookeeper服务

关闭防火墙，核心防护，修改主机名

在这里插入图片描述

安装环境，解压软件
在这里插入图片描述

修改配置文件
在这里插入图片描述

创建数据目录、日志目录
在这里插入图片描述

设置三台机器的myid

在这里插入图片描述

设置三台机器的执行脚本

在这里插入图片描述

将三台机器的启动脚本放入到系统管理中
在这里插入图片描述

分别启动三台启动的zookeeper
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

3、安装kafka服务

将三台机器都上传安装包，并解压到指定目录

在这里插入图片描述

备份配置文件
在这里插入图片描述

修改配置文件

  • 20.0.0.55主机的配置文件

在这里插入图片描述

  • 20.0.0.56的配置文件
    在这里插入图片描述

  • 20.0.0.57配置文件
    在这里插入图片描述

将kafka添加到环境变量中

在这里插入图片描述

配置kafka 的启动脚本

在这里插入图片描述

设置开机自动
在这里插入图片描述

分别启动kafka

在这里插入图片描述

3.1 kafka命令行操作

创建topic

kafka-topics.sh --create --zookeeper 20.0.0.55:2181,20.0.0.56:2181,20.0.0.57:2181 --replication-factor 2 --partitions 3 --topic test

#--zookeeper:定义zookeeper集群服务器地址，如果有多个ip以逗号分隔。
#--replication-factor:定义分区副本，1代表但副本，建议为2
#--partitions: 定义分区数
#--topic :定义topic名称

查看当前服务器中的所有topic

kafka-topics.sh --list --zookeeper 20.0.0.55:2181,20.0.0.56:2181,20.0.0.57:2181

查看某个topic的详情

kafka-topics.sh --describe --zookeeper 20.0.0.55:2181,20.0.0.56:2181,20.0.0.57:2181

发布消息

kafka-console-producer.sh --broker-list 20.0.0.55:9092,20.0.0.56:9092,20.0.0.57:9092 --topic test

消费消息

kafka-console-consumer.sh --bootstrap-server 20.0.0.55:9092,20.0.0.56:9092,20.0.0.57:9092 --topic test --from-beginning

#--from-beginning：会把主题中以往所有的数据都读取出来

修改分区数

kafka-topics.sh --zookeeper 20.0.0.55:2181,20.0.0.56:2181,20.0.0.57:2181 --alter --topic test --partitions 6

删除topic

kafka-topics.sh --delete --zookeeper 20.0.0.55:2181,20.0.0.56:2181,20.0.0.57:2181 --topic test
3.2 创建topic进行测试(任意主机上均可操作)

创建topic
在这里插入图片描述

发布消息、消费消息

在这里插入图片描述

3、配置数据采集层filebead（20.0.0.58）

关闭防火墙、修改主机名

安装httpd服务，并启动

在这里插入图片描述

安装filebead，并剪切到指定目录
在这里插入图片描述

修改配置文件
在这里插入图片描述

启动filebeat服务
在这里插入图片描述

4、部署ES服务（20.0.0.60、20.0.0.61）

安装JDK
在这里插入图片描述

4.1 安装ES服务

配置本地解析，上传安装包安装并启动

在这里插入图片描述

修改配置文件
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

查看配置文件，创建数据目录
在这里插入图片描述

4.2 安装node插件

安装运行环境
在这里插入图片描述

编译
在这里插入图片描述

安装
在这里插入图片描述

4.3 安装phantomjs插件

上传压缩包解压
在这里插入图片描述

将执行文件加入到环境变量
在这里插入图片描述

4.4 安装ES-head

上传压缩包，解压
在这里插入图片描述

安装
在这里插入图片描述

4.5 修改ES配置文件

在这里插入图片描述

4.6 启动ES服务

在这里插入图片描述

4.7 启动ES-head服务

在这里插入图片描述

5、部署logstash（20.0.0.59）

安装java环境
在这里插入图片描述

安装logstash
在这里插入图片描述

创建软链接
在这里插入图片描述

创建执行对接文件
在这里插入图片描述

启动服务
在这里插入图片描述

6、使用ES-head接口访问

在这里插入图片描述

7、安装kibana指向可视化

这边不演示了,参考前面的博客

yu.deqiang
关注
专栏目录
Filebeat+zookeeper+kafka+ELK
勤能补拙，知行合一
03-08 2255
文章目录filebeat的原理Kafka简介zookeeper简介搭建Filebeat+zookeeper+kafka+ELK filebeat的原理 Filebeat的工作方式如下：启动Filebeat时，它将启动一个或多个输入，这些输入将在为日志数据指定的位置中查找。对于Filebeat所找到的每个日志，Filebeat都会启动收集器。每个收集器都读取单个日志以获取新内容，并将新日志数据发送到libbeat，libbeat将聚集事件，并将聚集的数据发送到为Filebeat配置的输出 Filebeat结构
ELK+Filebead+zookeeper+kafka部署
m0_71521555的博客
10-11 1821
ELK+Filebead+zookeeper+kafka部署
【ELK日志分析系统】Zookeeper、Kafka集群与Filebeat+Kafaka+ELK架构
m0_71593537的博客
03-05 1366
Zookeeper、Kafka集群与Filebeat+Kafaka+ELK架构
Zookeeper集群 + Kafka集群，Filebeat+Kafka+ELK
X2683933654的博客
01-23 1176
Zookeeper是一个开源的分布式的，为分布式框架提供协调服务的Apache项目主要原因是由于在高并发环境下，同步请求来不及处理，请求往往会发生阻塞。比如大量的请求并发访问数据库，导致行锁表锁，最后请求线程会堆积过多，从而触发 too many connection 错误，引发雪崩效应。我们使用消息队列，通过异步处理请求，从而缓解系统的压力。消息队列常应用于异步处理，流量削峰，应用解耦，消息通讯等场景。
kafka集群介绍+部署Filebeat+Kafka+ELK
虫虫的博客
03-29 1484
是最初由 Linkedin 公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于 Zookeeper 协调的分布式消息中间件系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景，比如基于 hadoop 的批处理系统、低延迟的实时系统、Spark/Flink 流式处理引擎，nginx 访问日志，消息服务等等，用 scala 语言编写，消费者组中的每个消费者，都会实时记录自己消费到了哪个 offset，以便出错恢复时，从上次的位置继续消费。
ELK+Filebeat+Kafka+ZooKeeper构建日志分析平台
01-23
ELK+Filebeat+Kafka+ZooKeeper构建日志分析平台，架构图解
ELK+Filebeat+Kafka+Zookeeper日志分析系统搭建
weixin_67510296的博客
07-17 1278
随着业务量的增长，每天业务服务器将会产生上亿条的日志，单个日志文件达几个GB，这时我们发现用Linux自带工具，cat grep awk 分析越来越力不从心了，而且除了服务器日志，还有程序报错日志，分布在不同的服务器，查阅繁琐。 导致 大量不同种类的日志成为了运维人员的负担，不方便管理。 单个日志文件巨大，无法使用常用的文本工具分析，检索困难。 日志分布在多台不同的服务器上，业务一旦出现故障，需要一台台查看日志。 ...
ELK+Filebeat+Kafka+Zookeeper日志分析系统
liwenbin19920922的博客
09-17 629
Filebeat由两个主要组成部分组成：==prospector(探勘者)和 harvesters(矿车)。==这些组件一起工作来读取文件并将事件数据发送到指定的output。==prospector:==负责找到所有需要进行读取的数据源harvesters负责读取单个文件的内容，并将内容发送到output中，负责文件的打开和关闭。
ELK+Filebead+zookeeper+kafka
Drw_Dcm的博客
10-13 730
ELK+Filebead+zookeeper+kafka
Kafka 概述、Filebeat+Kafka+ELK
Axic123的博客
07-13 2391
Kafka 是一个分布式的基于发布/订阅模式的消息队列（MQ，Message Queue），主要应用于大数据领域的实时计算以及日志收集。
elk收集mysql日志 filebead收集mysql慢日志与错误日志
欢迎关注，共同学习进步！
01-05 617
filebeat收集mysql错误日志与慢日志
kafka zookeeper elasticsearch集群环境搭建
zhongyuan_1990的专栏
01-20 3352
ES/kafka/zookeeper部署 机器三台，同一内网。   安装kafka  建议版本kafka_2.11-0.9.0.0.tgz 准备工作 修改hosts。 编辑vim /etc/hosts 1）修改默认127.0.0.1   127.0.0.1   localhost   ::1         localhost 2）添加三台机器的
elk+kafka+zookeeper超详细
yangpei1的博客
08-11 5341
elk部署超详细 一、简介： ELK是三个开源软件的缩写，分别表示：Elasticsearch , Logstash, Kibana 1、Elasticsearch是个开源分布式搜索引擎，提供搜集、分析、存储数据三大功能。 它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。 2、Logstash 主要是用来日志的搜集、分析、过滤日志...
zookeeper集群+kafka集群
鸡汤的博客
07-04 1537
Zookeeper是一个开源的分布式的，为分布式框架提供协调服务的Apache项目。Zookeeper从设计模式角度来理解：是一个基于观察者模式设计的分布式服务管理框架，它负责存储和管理大家都关心的数据，然后接受观察者的注册，一旦这些数据的状态发生变化，Zookeeper就将负责通知已经在Zookeeper上注册的那些观察者做出相应的反应。也就是说 Zookeeper = 文件系统 + 通知机制。ZooKeeper数据模型的结构与Linux文件系统很类似，整体上可以看作是一棵树，每个节点称做一个ZNode。
Filebeat简介
shajc0504的专栏
08-30 7376
简介 Filebeat是一个轻量级日志传输Agent，可以将指定日志转发到Logstash、Elasticsearch、Kafka、Redis等中。Filebeat占用资源少，而且安装配置也比较简单，支持目前各类主流OS及Docker平台。 具体可以参考官网：https://www.elastic.co/guide/en/beats/filebeat/current/filebeat-gett...
ELK日志分析平台搭建和使用
real向往的博客
03-31 675
ELK介绍 ELK是三个开源工具组成，简单解释如下： Elasticsearch是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。 Logstash是一个完全开源的工具，它可以对你的日志进行收集、过滤，并将其存储供以后使用（如，搜索）。 Kibana 也是一个开源和免费的工具，它可以为 Logstas...
Filebeat的基本使用
热门推荐
我就是我的博客
09-27 3万+
文章目录概述Filebeat下载页面Filebeat文件夹结构Filebeat启动命令Filebeat的处理流程常用配置解析输入类型配置解析输出类型配置解析Console输出ElasticSearch输出：LogStash输出案例举例1：Filebeat收集日志并输出到控制台举例2：Filebeat收集日志输出到控制台 并展示自定义字段举例3：Filebeat收集Nginx运行日志并输出到es举例4：基于Nginx module使用Filebeat收集Nginx运行日志并输出到esFilebeat工作原理
【系统设计】高效的分布式系统：使用 Spring Boot 和 Kafka 实现 Saga 模式
探索技术世界的奥秘，分享编程经验与创新见解。通过深入浅出的文章，助您在技术领域不断成长。
10-30 1835
在微服务架构中，一个业务流程通常涉及多个独立的服务。这些服务必须协同工作以完成完整的业务操作。例如，用户下单可能需要订单服务、支付服务和库存服务的合作。然而，跨服务操作通常涉及复杂的事务管理，传统的分布式事务（如两阶段提交）不仅效率低下，还难以扩展和维护。Saga 模式提供了一种替代方案，通过将一个长事务分解为一系列的本地事务，并通过事件或命令进行协调，从而实现最终一致性。这种方法不仅提高了系统的可扩展性，还简化了事务管理。
【flink】之新版本kafka到kafka
最新发布
it_erge的博客
10-31 287
通过sinkTo()的优点：更简洁、类型安全，适用于使用 Flink 提供的预定义 sink 或简单的自定义 sink。
ELK+Filebeat+Kafka+ZooKeeper构建的日志分析平台
"基于ELK+Filebeat+Kafka+ZooKeeper的海量日志分析平台，用于日志集中管理、快速查询、问题定位及故障解决。通过分析日志，可提升用户响应速度，构建用户画像，实现精准营销。" 在IT领域，日志分析系统是监控和诊断...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值