yiweiyi329的博客

Kafka Raft模式

flink读写kafka保证exactly-once

flink消费kafka

flink1.15源码实践

目录环境下载相关jar包启动flink集群与flink sql创建数据库并选择创建flink sql表结构查询结果环境flink 1.11版本Mac系统下载相关jar包flink sql读取kafka需要下载相关的kafka依赖包，放到本地的lib目录下，选择下面这个：cd /usr/local/Cellar/apache-flink/1.11.2/libexec/libcp ~/Downloads/flink-sql-connector-kafka_2.11-1.11.2.jar .启动

flink实现读取kafka写入pulsar相关pom依赖序列化反序列化实现相关pom依赖将本实例的flink程序相关的依赖加进来：序列化反序列化需要实现序列化反序列化去读取和写入，实现类如下：实现

1、报错信息：org.apache.kafka.clients.consumer.OffsetOutOfRangeException: Offsets out of range with no configured reset policy for partitions: {qukan_log_v3-198=2289560518}报错原因：当消费者消费offset大于或小于当前kafka集...

1、返回topic列表./kafka-topics.sh --list --zookeeper localhost:21812、创建topic./kafka-topics.sh --zookeeper localhost:2181 --create --topic kafka_test --partitions 60 --replication-factor 33、查看指定to...

Burrow是linkedin开源的一个监控Apache Kafka的工具，burrow可以将消费者滞后检查作为一项服务来对外提供。 它监视所有消费者的承诺偏移量，并根据需要计算消费者的状态，提供HTTP endpoint接口来获取消费者状态，能够监控Consumer消费消息的延迟,从而监控应用的健康状况，并且可以同时监控多个Kafka集群。 通知器可以通过配置电子邮件或HTTP通告进行告警，...

本文实现go调用sarama库，实现创建Kafka topic，添加某账号的生产者权限以及消费者权限1、创建topic：import ( "github.com/Shopify/sarama" "log")func Create(topic *TopicInfo) error{ log.Println("start create topic...") ...

1、安装kafka（mac版）：brew install kafka2、启动zookeeper、kafka、flink：zookeeper：/usr/local/Cellar/zookeeper/3.4.13/bin/zkServer startkafka：/usr/local/Cellar/kafka/2.1.1/bin/kafka-server-start /usr/local/e...