kafka
撰写或转发kafka相关的技术博文
栖溪阁晓生
在线笔记本!!!
展开
-
记录我与kafka的一次邂逅_kafka的命令行工具
kafka提供了一些命令行工具,用于管理集群的变更。主题操作创建主题创建一个主题需要用到3个参数:主题名字:想要创建主题的名字,名字可以包含字母、数字、下划线以及英文状态下的破折号和句号复制系数:主题的副本数量分区:主题的分区数量命令行格式:kafka-topic.sh --zookeeper <zookeeper connect> --create --topic <String> --replication-factor <integer> --p原创 2020-06-27 21:35:37 · 190 阅读 · 0 评论 -
记录我与kafka的一次邂逅_消费者-从kafka中读取数据
在kafka中,消费者从属于消费者群组,想要知道如何从kafka中读取消息,需要先了解消费者和消费者群组的概念。假设主题T1有四个分区,我们创建一个消费者群组1,群组中有一个消费者;用这个消费者订阅主题T1,则该消费者会收到四个分区中的全部消息。但是kafka消费者经常会做一个高延迟的操作,比如把数据写到数据库或HDFS,或者使用数据进行比较耗时的计算。在这些情况下,单个消费者无法跟上数据生成的速度,所以我们可以增加群组中的消费者来分担负载。当增加一个消费者后,主题T1就被群组1中的两个消费者消费;原创 2020-06-27 21:31:19 · 201 阅读 · 0 评论 -
记录我与kafka的一次邂逅_生产者-往kafka中写入数据
kafka生产者是一个向kafka集群发布记录的客户端。下图为kafka生产者组件图,图中展示了kafka发送消息的主要步骤:发送消息之前,首先创建一个ProducerRecord对象,该对象包含目标主题、指定键和分区以及要发送的内容;在发送ProducerRecord对象前,生产者要把键和值对象序列化成字节数组,才能在网络上传输;然后数据传送到分区器;如果在ProducerRecord对象中指定了分区,那么分区器将什么也不做;如果没有指定分区,那么分区器将会根据ProducerRecord对象中原创 2020-06-27 21:26:11 · 192 阅读 · 0 评论 -
记录我与kafka的一次邂逅_初识
故事就从什么是kafka开始,我从官方文档上面翻译了这句话:Apache Kafka是一个分布式的流处理平台。我们知道作为一个流处理平台,它拥有三个关键的功能:可以发布和订阅流;可以以容错的方式存储流;还可以实时的处理流。kafka作为一个分布式的流处理平台,它有两大应用:一是能够构建实时流数据管道,在系统和应用之间可靠地获取数据;另一个应用是能够构建转换或响应数据流的实时流应用程序。kafka作为一个集群运行在一个或多个服务器上,这些服务器可以跨越多个数据中心,根据topic的不同来分类存储记录流;每个原创 2020-06-27 20:53:02 · 140 阅读 · 0 评论 -
记录我与kafka的一次邂逅_安装
kafka是一个由linkedin公司开发的分布式发布-订阅消息系统;它可以运行在windows、MacOS和linux操作系统上,本文介绍的kafka安装主要是在linux系统上进行。在开始安装kafka应用程序之前,首先要检查系统中是否已经安装好了JDK和Zookeeper;JDK建议安装jdk8以上版本,zookeeper安装请访问https://zookeeper.apache.org/releases.html下载最新的安装包进行安装。如果jdk和zookeeper安装好之后,现在开始kafa原创 2020-06-13 14:12:19 · 108 阅读 · 0 评论