修改kafka、zookeeper启动内存大小

最新推荐文章于 2024-04-10 22:43:40 发布
最新推荐文章于 2024-04-10 22:43:40 发布
阅读量4.7k 收藏 5
点赞数 3
分类专栏： hadoop spark 文章标签： kafka
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u012533471/article/details/107159178
版权

1.修改bin目录下的 zookeeper-server-start.sh，将初始堆的大小(-Xms)设置小一些

export KAFKA_HEAP_OPTS="-Xmx512M -Xms512M"

修改bin目录下的kafka-server-start.sh文件，将初始堆的大小(-Xms)设置小一些

 export KAFKA_HEAP_OPTS="-Xmx1G -Xms128M"

在config目录下的server.properties中增加

  log.cleaner.dedupe.buffer.size= prefered buffer size in byte

这一个是Kafka初始化LogManager时候用到的buffer size

csdn_xiaofeng
关注
  • 3
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
kafka+zookeeper
12-27
自己博客需要的资源，从开源网站中下载之后整合成一个压缩包分享
Zookeeper3.7与3.8加kafka2.12-3.1.0
04-14
ZooKeeper是一个开放源码的分布式应用程序协调服务，它包含一个简单的原语集，分布式应用程序可以基于它实现同步服务，配置维护和命名服务等。 Kafka目前主要作为一个分布式的发布订阅式的消息系统使用 本资源包括zookeeper 3.8 与 3.7 kafka2.12-3.1.0 版本 有需求的可以下载
zookeeper 堆内存调优
最新发布
weixin_67050107的博客
04-10 343
如上图，查看到当前节点堆内存为 128MB ，自己搭的测试环境则可以随便设置；如果是zookeeper集群的话，直接将这个文件同步到其他集群即可。
zookeeper、kafka集群部署
10-08
zookeeper配置、集群部署 kafka配置、集群部署 Window平台下
kafka配置文件zookeeper参数.md
03-11
kafka配置文件zookeeper参数.md
Windows zookeeper/kafka开启自启动
12-24
Windows 环境 为zookeeper和kafka配置开机自启动服务。
Zookeeper内存调整方法
qq_42264264的博客
05-23 1651
将以下参数拷贝到/usr/local/service/zookeeper/bin/zkServer.sh 中。注意：带kerberos的环境需要格外关注认证问题。
Linux启动kafka无反应（内存不足）
weixin_48909429的博客
05-22 519
KafkaServer.out报Java OpenJDK(TM) 64-Bit Server VM warning: INFO: os::commit_memory(0x000000c0000000, 4096, 0) failed;修改bin/kafka-server-start.sh，将export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"修改为export KAFKA_HEAP_OPTS="-Xmx256m -Xms256m"即可。解决办法：修改启动脚本的内存参数。
Kafka的安装与使用
Curtisjia的博客
12-10 2433
安装Kafka 首先去下载：Kafka下载地址 备选地址：https://www.lanzouw.com/i4b8mxgrafg 密码:204o 准备好jdk环境，zk若无Kafka自带无须担忧。 说明 从蓝奏云上下载的朋友请注意，由于上传的时候蓝奏云不支持tgz后缀的格式，所以我把它改成了tar包，但不影响，下载下来之后以tar包方式解压即可。 解压并配置 tar -xzf kafka_2.13-3.0.0.tgz cd kafka_2.13-3.0.0 # 修改配置文件 vim config/serv
kafka占用磁盘空间过大
mianhuabushitang的博客
09-30 6449
生产环境服务器目前生产上kafka占用磁盘地方过大。运维建议优化。因为数据量大。且数据会备份到mongodb，所以kafka数据不需要保存太久。 目前kafka 使用的是默认配置，默认配置中有两项配置可优化 log.retention.hours清理超过指定时间清理 log.retention.bytes超过指定大小后，删除旧的消息 目前默认配置 存放时间是7天而且大小无限大，我们可以将存放时间缩小且设定默认大小（存在风险是可能会丢数据） 注：日志的真正清除时间。...
4.kafka--生产调优
qq_24223159的博客
01-29 3293
无
Kafka集群启动时报错无法启动
weixin_43866709的博客
04-02 1867
使用kafka-server-start.sh启动Kafka时无法启动，然后报错，报错信息如下： 出现这个错误的原因是由于这台机器上的内存太小，Kafka启动默认要求机器的最小内存是1G。 解决办法： 修改kafka-server-start.sh这个文件。 sudo vim kafka-server-start.sh 会看到如下信息： 将1G修改为512M就可以了： 然后再启动就可以了...
Kafka核心配置参数与机制
Widsom的博客
06-08 9830
Kafka核心配置参数与机制 1. kafka集群安装 kafka集群安装，参考文章: Kafka集群搭建及生产者消费者案例 2. kafka配置参数 broker.id：broker的id，id是唯一的非负整数，集群的broker.id不能重复。 log.dirs：kafka存放数据的路径。可以是多个，多个使用逗号分隔即可。 port：server接受客户端连接的端口，默认6667...
Kafka 详细配置参数说明
jast
06-26 660
参数值 参数文件 描述 auto.create.topics.enable server.properties 【说明】是否允许自动创建Topic，若是false，就需要通过命令创建Topic。【默认值】true【取值范围】true或false log.cleaner.backoff.ms server.properties 【说明】检查是否有日志需要清理的时间间隔。单位：毫秒。【默认值】15000【取值范围】0~9223372036854775807 log.cleaner.del...
kafka java jvm 优化_kafka-jvm内存大小设置以及优化
weixin_31608325的博客
02-26 1941
[root@soa-prod-elasticsearch-010171107044 /usr/local/services/elasticsearch-5.1.2/bin] 21:34:31 0vim elasticsearch#!/bin/bash# CONTROLLING STARTUP:## This script relies on few environment variables to...
Kafka优化篇-压测和性能调优
S1124654的博客
02-20 1842
Kafka优化篇-压测和性能调优
zookeeper没有修改配置文件名称不能启动。
qq_30315977的博客
09-20 759
在zkEnv.sh中去conf寻找了zoo.cfg配置文件，因为我们默认conf目录下是没有这个文件的，我们只有zoo_在解压zoookeeper直接启动，发现报错。sample.cfg修改为zoo。我们只需要把zoo_
zookeeper java.env_zookeeper在生产环境中的配置(zookeeper3.6)
weixin_31539351的博客
02-13 601
一，zookeeper中日志的配置1，快照文件snapshot的目录:dataDir=/data/zookeeper/data存储快照文件snapshot的目录。默认情况下，事务日志也会存储在这里所以我们建议指定dataLogDir2,事务日志的目录dataLogDir=/data/zookeeper/datalogs事务日志输出目录,不建议和快照文件写在一个目录下3，日志清理ZooKeeper ...
Kafka内容分享(七)：Kafka 数据清理和配额限速
之乎者也·的博客
12-11 1510
Kafka日志管理器中会有一个专门的日志删除任务来定期检测和删除不符合保留条件的日志分段文件，这个周期可以通过broker端参数log.retention.check.interval.ms来配置，默认值为300,000，即5分钟。日志删除任务会检查当前日志的大小是否超过设定的阈值来寻找可删除的日志分段的文件集合。log.retention.bytes 配置的是日志文件的总大小，而不是单个的日志分段的大小，一个日志文件包含多个日志分段。Log Compaction是默认的日志删除之外的清理过时数据的方式。
kafka自带zookeeper启动
06-28
### 回答1： Kafka自带Zookeeper启动是指Kafka集群中的每个节点都包含一个Zookeeper实例，用于管理Kafka集群的元数据和状态信息。这种方式简化了Kafka集群的部署和管理，但也需要注意Zookeeper和Kafka的配置和调优，以确保集群的稳定性和性能。 ### 回答2： Kafka是一种分布式的消息队列系统，专门用于高效地处理大量数据流。而Zookeeper则是一个开源的分布式协调服务，用于管理和维护分布式系统中的配置信息、命名服务、状态同步等。 Kafka自带Zookeeper启动的意思是，Kafka安装包中包含了Zookeeper的二进制文件，并且Kafka启动时会自动启动Zookeeper服务。这样可以省去用户自己安装和配置Zookeeper的步骤，简化了Kafka的安装和部署流程。 具体来说，Kafka启动时可以传入zookeeper.properties文件的路径作为参数，这个文件中包含了Zookeeper的配置信息，例如Zookeeper的集群地址、会话超时时间等。Kafka会读取这个文件并根据其中的配置信息启动Zookeeper服务。同时，Kafka还会在Zookeeper中创建一些节点用于存储Kafka集群的元数据和偏移量信息等。 Kafka自带Zookeeper启动的好处是，可以让用户更加方便地使用Kafka，尤其是对于一些小规模的部署场景和初学者来说，避免了繁琐的Zookeeper安装和配置步骤。同时，Kafka自带Zookeeper启动也保证了Kafka和Zookeeper之间的版本一致性，避免了因为版本不兼容而带来的问题。 总之，Kafka自带Zookeeper启动是Kafka的一个特性，它使得Kafka更加易于使用和部署，同时保证了Kafka与Zookeeper之间的兼容性。 ### 回答3： Kafka 基于分布式消息传递和处理的设计理念，为了实现这一理念，必须要依赖一个协调服务来维护分布式的数据状态。Zookeeper 便是一个非常成熟的分布式协调服务，因此 Kafka 选择将 Zookeeper 作为其协调服务。在 Kafka 中，Zookeeper 负责管理 Kafka 集群中的 Configuration、Broker、Topic 等元数据，以及存储 Producer 和 Consumer 的状态。Zookeeper 的具体作用包括： 1. Broker 选举 Kafka 的 broker 是可以水平扩展的，一个 Kafka 集群中可以有多个 broker 实例。为了保证集群的高可用性，Kafka 需要通过选主机制保证集群中的 broker 能够选出一个 leader。当 leader broker 故障时，Zookeeper 会被用来选举新的 leader。 2. Topic 配置管理与分区分配 Kafka 的 topic 能够根据配置自动分配到不同的 broker 中进行存储和处理。这个配置会被存储到 Zookeeper 中，随着 topic 数量的增加，会影响 Zookeeper 的存储量。 3. Consumer Group 状态管理 在多个消费者消费同一个 topic 的数据时，通常需要将消费者分组。Kafka 将消费者分组的机制称为 Consumer Group，Zookeeper 会保存该 Consumer Group 的状态和 offset。 考虑到 Kafka 需要频繁的和 Zookeeper 进行通信，Kafka 实现了一套简单的 Zookeeper API，使得开发者能够直接使用 Zookeeper API 操作 Kafka 集群。此外，Kafka 提供了一个简单配置即可启动 Zookeeper 的功能，方便开发者快速搭建 Kafka 集群。因此我们可以简单认为，Kafka 自带了 Zookeeper 启动的功能。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值