![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Kafka
文章平均质量分 55
乾研浅语
这个作者很懒,什么都没留下…
展开
-
kafka record(s) for xxxxxx: 30043 ms has passed since last append异常
在最近使用kafka过程中,有一部分的客户使用平台时会偶发出现以下错误刚开始网上找到的答案是对应主题所在分区对应的宿主机处理出现异常导致,故而导致该异常,所以出问题时取查询时并没有发现kafka server有其他问题,后通过其他方式查询出现该问题的原因;一个partition只会有队头的batch被发送,sender线程不会对发送中partition的其余batch检查过期,指向同一个broker的多个partition的batch能够合并成一个request发送。其中前两点是由Accumul转载 2020-09-26 17:22:11 · 5620 阅读 · 0 评论 -
Linux Docker 之 Kafka 单节点安装
1、获取相关镜像:1.1 获取 zookeeper 镜像:docker pull wurstmeister/zookeeper1.2 获取 kafka 镜像:docker pull wurstmeister/kafka2.运行镜像2.1 运行zookeeperdocker run -d --name zookeeper -p 2282:2181 -t wurst...原创 2019-12-19 16:34:05 · 769 阅读 · 2 评论 -
Ambari 中集成的 Kafka删除重装
一、删除kafka在Ambari中停止Kafka相关服务 移除kafka的存储目录(logs)(若存在多个目录时,所有的存储文件均清除) 在Ambari删除kafka相关服务组件 移除各个Broker中有关kafka的目录日志(logs) 移除zookeeper中的相关kafka保存信息 进入zkCli.sh删除#进入zookeeper的安装目录,进入客户端[bin]# ./...原创 2019-11-06 10:59:42 · 1044 阅读 · 0 评论 -
重装kafka后不能消费原topic数据。
问题环境:1.单kafka服务问题复现:重装kafka服务后flink不能消费数据。问题查找历程:1.首先查看flink的日志信息,看到有:从上面的日志怀疑是flink本身的检查点保留了kafka的偏移量导致的,根据查找相关资料并不影响flink获取数据2.打开flink的Debug有关kafka日志找到flink的安装目录:/opt/flink-1.6.3(我自己...原创 2019-08-02 17:39:21 · 676 阅读 · 0 评论 -
kafka常用命令
Kafka启动(后台)bin/kafka-server-start.sh -daemon config/server.properties创建主题## 创建 主题./kafka-topics.sh --create --zookeeper 127.0.0.1:2181 --replication-factor 副本数 --partitions 分区数 --topic topic...原创 2019-08-04 13:16:17 · 189 阅读 · 0 评论