Kafka
文章平均质量分 94
秃头青年Juniors
这个作者很懒,什么都没留下…
展开
-
Kafka 命令速览——注意事项
Kafka 命令速览说明文章目录Kafka 命令速览说明主题操作创建主题命令增加分区调整基于键的主题命令删除主题命令主题列表命令主题详细信息命令消费者群组命令动态配置变更命令消费和生产消费者命令生产者命令主题操作使用 kafka-topic.sh 工具可以执行主题大部分操作。我们可以创建、修改、删除和查看集群里的主题。当然要操作topic元数据,而这些元数据存放在Zookeeper上,因此我们需要通过 --zookeeper 参数,比如 --zookeeper hadoop102:2181/kafka原创 2021-11-19 16:37:55 · 808 阅读 · 0 评论 -
Kafka消费者-概念速览|群组|心跳机制|轮询|提交|偏移量——《Kafka权威指南》笔记
Kafka 消费者 —— 从 Kafka 读取消息应用程序使用 KafkaConsumer 向 kafka 订阅消息,并从订阅主题上接收消息。文章目录Kafka 消费者 —— 从 Kafka 读取消息消费者和消费者群组横向伸缩群组和分区再均衡引入概念弊端心跳机制创建Kafka消费者订阅主题轮询线程安全消费者配置提交和偏移量自动提交的利弊提交当前偏移量异步提交重试异步提交同步和异步组合提交提交特定的偏移量反序列化器独立消费者消费者和消费者群组如果有一个场景,生产者向主题写入消息的速度超过单个消费者的速原创 2021-11-18 17:17:06 · 932 阅读 · 0 评论 -
Kafka生产者-概念速览|配置参数|序列化|分区——《Kafka权威指南》笔记
文章目录Kafka生产者——向Kafka写入数据生产者概览消息发送过程创建 Kafka 生产者生产者的配置顺序保证序列化器自定义序列化器使用 Avro 序列化分区自定义分区器DemoKafka生产者——向Kafka写入数据除了内置的客户端外,Kafka还提供了二进制连接协议,也就是说,我们直接向Kafka网络端口发送适当的字节序列,就可以从Kafka读取消息或往Kafka写入消息。因此还有好多语言实现的Kafka客户端,比如C++,Python,Go,不仅限于Java。生产者概览一个应用程序在很多情原创 2021-11-17 18:48:44 · 854 阅读 · 0 评论 -
初识Kafka-概念速览|安装与配置—《Kafka权威指南》笔记
文章目录初识Kafka消息批次模式主题与分区生产者和消费者broker和集群保留消息多集群Kafka数据生态安装与配置安装 Java安装 ZookeeperZookeeper 群组(Ensemble)配置文件安装 Kafka启动kafka创建一个测试主题:发布消息:读取消息:硬件影响网络影响Kafka集群那需要多少个broker共享Zookeeper初识Kafka消息Kafka 的数据单元成为一个消息。一条消息可以看作数据库中的一个"数据行"或一条记录。消息由字节组成,其中消息有个可选的元数据,也就是原创 2021-11-16 19:23:52 · 888 阅读 · 0 评论