分布式日志分析系统（三）：Kafka的配置

最新推荐文章于 2024-06-14 20:12:29 发布
最新推荐文章于 2024-06-14 20:12:29 发布
阅读量1.5k 收藏 1
点赞数
分类专栏： 项目部署 文章标签： kafka zookeeper ELK
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sv2008337/article/details/81661313
版权
本文档详细介绍了如何在Windows环境下搭建zookeeper和kafka，包括zookeeper的配置、kafka的安装与配置，以及如何创建Producer和Consumer进行日志传输测试。通过此过程，确保日志分析系统的性能和健壮性。
摘要由CSDN通过智能技术生成

0、引言

  继之前写的分布式日志系统的搭建，之前提到用zipkin做日志追踪，后来为了提高整个日志分析系统的性能，必须要考虑加入kafka消息队列来保证日志不丢失，更好地提高系统的健壮性。

  本次搭建环境是基于windows下。

1、zookeeper搭建

  安装地址：http://apache.fayea.com/zookeeper/current/

  下载完解压，我用的版本是3.4.12，并在这个文件夹下新建data文件夹；

  进入conf目录，将zoo_sample.cfg复制为zoo.cfg，然后打开并修改里面的内容；

  主要修改的是：

dataDir=.\zookeeper-3.4.13\data

  这个路径可以自己随意更改，根据自己需要；

  打开bin目录，用管理员运行zkServer.cmd，效果如下：

  

  如果最后出现0.0.0.0：2181，就是运行成功了；

2、kafka搭建

   安装地址：http://

最低0.47元/天 解锁文章
_小亦_
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
kafka 日志相关配置
fenglepeng的博客
03-08 8716
log4j.properties 文件 log4j.properties 是 kafka 操作日志配置文件 log4j.properties 文件的一些说明 # 日志级别覆盖规则 优先级：ALL < DEBUG < INFO <WARN < ERROR < FATAL < OFF # 1.子日志log4j.logger会覆盖主日志log4j.rootLogger，这里设置的是日志输出级别，Threshold设置appender的日志接收级别； # 2.log4j.log
ELK-日志服务【kafka-配置使用】
L596462013的博客
07-14 3350
kafka-0110.0.0.21kafka-0210.0.0.22kafka-0310.0.0.23 【2】安装kafka集群
zookeeper is not a recognized option
最新发布
weixin_45998042的博客
06-14 133
还要改localhost:9092就可以运行了，完整命令： ./bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic wordsendertest --from-beginning。输入这个命令./bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic wordsendertest --from-beginning。
Kafka日志配置
热门推荐
程裕强的专栏
04-24 2万+
1、问题描述 在server.properties中配置了log.dirs值，表示kafka数据的存放目录，而非Kafka的日志目录。 [root@node1 kafka_2.11-1.0.1]# vi config/server.properties log.dirs=/data/kafka Kafka运行时日志默认输出到$KAFKA_HOME/logs目录下，容易撑爆分区，造成操作...
kafka日志配置
立志做一个最懂数据库的开发人员，欢迎一起探讨开发和数据库相关内容。
07-11 9647
日志管理;1、日志位置：同一放日志的磁盘，尽量在外置盘。2、日志要有清理策略kafka日志路径配置：文件地址：bin/kafka-run-class.sh新增配置项：LOG_DIR="/data/kafka/logs"kafka日志清理策略：1、修改日志输出级别：config/log4j.properties中日志的级别设置的是TRACE，生产改成INFO级别。2、Kafka日志管理器配置文件路...
漫游Kafka之过期数据清理
cihongmo6452的博客
12-16 484
Kafka将数据持久化到了硬盘上，允许你配置一定的策略对数据清理，清理的策略有两个，删除和压缩。 数据清理的方式 删除 log.cleanup.policy=delete启用删除策略 直接删除，删除后的消息不可恢复。可配置以下两个策略： 清理超过指定时间清理： log.reten...
浅谈分布式消息技术：Kafka.docx
08-20
Kafka的核心特性在于其分布式、分区化、多副本的设计，以及与Zookeeper的紧密协作，使其成为一种强大的日志收集系统和消息中间件。 Kafka的设计目标极具前瞻性，它旨在以O(1)的时间复杂度实现消息的持久化，确保...
分布式通讯面试专题系列：ActiveMQ+RabbitMQ+Kafka.zip
06-30
本面试专题系列涵盖了三个关键的分布式消息中间件：ActiveMQ、RabbitMQ和Kafka，它们都是实现高效、可靠数据传输的重要工具。下面我们将深入探讨这三个组件的核心概念、特点以及在实际应用中的使用场景。 首先，...
开课吧-05分布式消息系统Kafka.pdf
04-24
总之，Apache Kafka作为一个强大的分布式消息系统，以其高性能、高可用性和易于扩展的特性，广泛应用于实时数据流处理、日志聚合等多个领域，是现代大数据生态系统的重要组件。通过深入理解和熟练运用Kafka，开发者...
开课吧-01分布式消息系统Kafka.pdf
04-24
【分布式消息系统 Kafka】 Kafka 是一款高性能的分布式消息系统，由 Apache 软件基金会开发，主要用于构建实时数据管道和流应用。它的核心特性包括高吞吐量、可扩展性、容错性和持久性。Kafka 使用 Scala 和 Java ...
基于Flume的分布式日志聚合系统的研究.pdf
08-09
为应对这一挑战，本文研究了一种基于Flume的分布式日志采集分析系统，结合Hadoop、HDFS（Hadoop Distributed File System）和Kafka等技术手段，提供了新的设计思路和架构方案。 日志采集是大数据处理中的关键环节，...
Kafka学习(九)--Consumer配置讲解和Kafka调试日志配置
weixin_43700340的博客
03-31 1716
一.Consumer配置讲解和Kafka调试日志配置 1.1 springboot关闭kafka调试日志 #yml配置文件修改 logging: config: classpath:logback.xml #logback.xml内容 <configuration> <appender name="STDOUT" class="ch.qos.logback.core.ConsoleAppender"> <encoder class="ch
Kafka常用命令及遇到的问题
m0_55877125的博客
04-23 902
命令：bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --group my-group --new-consumer --reset-offsets --to-earliest --all-topics --execute。命令：bin/kafka-consumer-perf-test.sh --zookeeper localhost:2181 --messages 100000 --size 1000 --threads 1。
SpringBoot运行Kafka日志输出太多怎么办？一文教你如何调试日志配置
JAVA求生之路——博主406766467
06-12 2264
logback.xml内容
Kafka报错：Exception in thread “main“ joptsimple.UnrecognizedOptionException: zookeeper is not a recogn
血煞长虹 的专栏
10-15 1万+
错误的根源是：kafka版本过高所致，2.2+=的版本，已经不需要依赖zookeeper来创建/查看topic，新版本使用--bootstrap-server替换老版本的--zookeeper-server，即可解决。
【Kafka】Kafka 动态调整 日志级别 Log4jController
九师兄
03-27 2344
1.概述 翻译：Dynamically Adjust Log Levels in Connect 2.动机 Kafka Connect不提供一个开箱即用的工具来更改日志级别。在调试连接器或Connect框架时，必须更新log4j。属性文件，并重新启动worker以查看新的日志。在大多数情况下，这是很麻烦的，并且重新启动worker有时会通过重置内部状态来隐藏bug。 3. 修改建议 Kafka代理目前有一个通过mbean调整日志级别的工具。这是一个scala实用程序，我们将用Java重写它，然后转移到Ka.
Exception in thread “main“ joptsimple.UnrecognizedOptionException: zookeeper is not a recognized opt
qq_43842093的博客
05-03 1728
【代码】Exception in thread "main" joptsimple.UnrecognizedOptionException: zookeeper is not a recognized opt。
读取topic，查看有哪些topic，删除topic,创建topic生产者
weixin_45762425的博客
12-13 1659
kafka-console-consumer --bootstrap-server localhost:9092 --topic three --from-beginning kafka-topics --list --zookeeper localhost:2181
Kafka：分布式消息队列与日志系统解析
Kafka是一个分布式消息系统，最初由LinkedIn开发，具备高吞吐、消息持久化和分布式消费等特性，广泛应用于各种日志处理。" 在深入探讨Kafka的知识点之前，首先理解Kafka的基本概念至关重要。Kafka作为一个分布式...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值