小内存运行kafka

最新推荐文章于 2024-05-03 16:57:00 发布
最新推荐文章于 2024-05-03 16:57:00 发布
阅读量171 收藏
点赞数
分类专栏： kafka 文章标签： kafka java 分布式
原文链接：https://www.hawu.me/operation/785
版权

小内存运行kafka – 哈呜.王https://www.hawu.me/operation/785

再检查kafka的源码，定位到KafkaServer.scala的589行附近。

kafka在创建LogManager对象的时候，使用了这个cleanerConfig，并且用到了几个关于size的配置，而且这几个配置没有出现在server.properties文件中，估计使用了默认值。

再kafka的官方文档可以查到这个logCleanerDedupeBufferSize默认134217728字节，128MB了。估计就是这个造成OutOfMemory了。

loveLifeLoveCoding
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
scalatest-embedded-kafka：一个提供内存中Kafka实例以针对其运行测试的库
02-05
scalatest-embedded-kafka：一个提供内存中Kafka实例以针对其运行测试的库
kafka运行内存不足问题解决
ydeway的博客
06-27 9489
修改启动脚本（Linux环境下：kafkaDir/bin/kafka-server-start.sh） 修改：export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G" 为：export KAFKA_HEAP_OPTS="-Xmx256M -Xms128M" #也可以改为其它合适的大小，这里将1G改为256M和128M ...
Kafka设置运行时内存
weixin_43822395的博客
07-01 725
今天登上服务器一看2G的内存剩下100M可用，这让本不富裕的家庭雪上加霜，于是百度kafka修改启动内存方法。编辑kafka-server-start.sh即可。
Docker部署kafka并指定内存大小
小熊的博客
07-18 2654
拉取镜像 docker pull wurstmeister/zookeeper docker pull wurstmeister/kafka 启动 启动ZK docker run -d --name zookeeper -p 2181:2181 -t wurstmeister/zookeeper 启动kafka并指定JVM参数 docker run -d --name kafka --publish 9092:9092 --link zookeeper --env KAFKA_ZOOKE
windows 运行kafka没反应
索性流年的博客
12-12 634
windows 运行 kafka 没反应问题解决
借贷管理源码java-embedded-kafka:一个提供内存Kafka实例来运行测试的库
06-06
一个提供内存 Kafka 实例来运行测试的库。 灵感来自 . 版本兼容性矩阵 Embedded-kafka 在 Maven Central 上可用，为 Scala 2.12 和 2.13 编译。 版本与其构建的 Kafka 版本相匹配。 重要的已知限制（v2.8.0 之前） ...
内存与磁盘，部分运行程序简易构造图
03-05
初次画图，有理解不到位的地方欢迎各位同行前辈指正
Kafka分布式消息系统
03-12
Kafka是linkedin用于日志处理的分布式消息队列，linkedin的日志数据容量大，但对可靠性要求不高，其日志数据主要包括用户行为（登录、浏览、点击、分享、喜欢）以及系统运行日志（CPU、内存、磁盘、网络、系统及进程...
kafka-testing:kafka-clients的测试示例
05-26
是内存中的示例（1个Zookeeper，1个Kafka代理，1个Confluent模式注册表）。 嵌入式kafka集群用于kafka-client应用程序的集成测试。 包含与以及具有基于kafka的应用程序进行集成测试的示例 包含使用与， wire-mock...
01.Kafka简介与基本概念介绍
支支吾吾说不上来的博客
04-28 362
Kafka 是最初由 Linkedin公司开发，是一个分布式、支持分区(partition)的、多副本(replica)的，基于 Zookeeper 协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于 hadoop 的批处理系统、低延迟的实时系统、Storm/Spark流式处理引擎，web/nginx日志、访问日志，消息服务等等，Kafka 使用 scala 语言编写，Linkedin 于2010年贡献给了 Apache 基金会并成为顶级开源项目。
Kafka 生产者应用解析
lIujunXHU的博客
04-26 1288
可以根据实际需要，自定义实现分区器。示例：自定义分区 发送过来的数据中如果包含 hello，就发往 0 号分区，不包含 hello，就发往 1 号分区。# 自定义分区 发送过来的数据中如果包含 hello，就发往 0 号分区，不包含 hello，就发往 1 号分区。""":function: 自定义分区:param topic: 写入数据所在的topic:param msg: 写入的数据:return:"""# 自定义分区器return 0else:return 1。
Kafka集群和kafka-manager安装
yinjl123的博客
04-27 472
Kafka集群依赖zookeeper集群。
导出 CDH 中各组件（HDFS、Hive、Impala、Kafka、Kudu、YARN和Zookeeper）指标到 Prometheus
最新发布
zcs2312852665的博客
05-03 565
本教程介绍了如何提取大数据集群中不同组件的指标信息，涵盖了HDFS、Hive、Impala、Kafka、Kudu、YARN和Zookeeper等组件，通过配置环境变量以启用JMX监控，并展示了具体操作步骤和配置方法。本教程详细介绍了如何使用JMX Prometheus Exporter工具来提取各个大数据组件的指标信息，并将其暴露给Prometheus进行监控。通过学习本教程，您可以轻松设置并收集这些指标数据，并利用可视化工具展示和分析它们。希望本教程对您有所帮助！如有任何疑问或问题，请随时在评论区留言。
Kafka---总结篇
gochenguowei的博客
04-25 2109
Kafka的message是按topic分类存储的，topic中的数据又是按照一个一个的partition即分区存储到不同broker节点。确定好消息的topic+partition后，直接发送给对应leader副本所在的broker。LSO 的值等于事务中第一条消息的位置(firstUnstableOffset，如上图所示)，对已完成的事务而言，它的值同 HW 相同。其中轮询策略是默认的分区策略，而随机策略则是较老版本的分区策略，不过由于其分配的均衡性不如轮询策略，故而后来改成了轮询策略为默认策略。
Apache Kafka知识点表格总结
小蜜蜂1010的博客
05-03 858
总结并复习一下Kafka知识点，使用表格形式总结，并附上与Spring Boot的整合示例
《Kafka 3.x.x 入门到精通》
这里有一只小马吖
04-27 301
Kafka 3.x.x 入门到精通——完结篇
Kafka客户端工具：Offset Explorer 使用指南
一起coding，一起嗨。
04-29 1023
Kafka客户端工具：Offset Explorer 使用指南
Kafka如何将消息发送到指定分区
qq_26432153的博客
05-02 614
Kafka如何将消息发送到指定分区
kafka内存占用高
07-28
5. JVM 堆内存设置不合理：Kafka 运行在 JVM 上，堆内存的设置会直接影响到 Kafka 的内存占用。您可以检查和调整 Kafka 启动脚本中的堆内存参数，如`-Xmx`和`-Xms`，以适应您的实际需求。 希望以上解决方法能对您...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值