Kafka基本命令

最新推荐文章于 2024-06-23 09:30:00 发布

少猿

最新推荐文章于 2024-06-23 09:30:00 发布

阅读量561

点赞数

分类专栏：大数据文章标签： kafka 大数据中间件

本文链接：https://blog.csdn.net/qq_44686646/article/details/130183804

版权

大数据专栏收录该内容

2 篇文章 0 订阅

订阅专栏

常用命令

服务相关命令

./bin/kafka-server.start.sh -daemon ./config/server.properties

指定对应的配置文件启动kafka，-daemon 参数会将任务转入后台运行，输出日志信息将写入日志文件

topic相关命令

bin/kafka-topics.sh --bootstrap-server hadoop102:9092 --list

查看当前服务器所有topic 的命令，其中hadoop102为主机名,9092为端口号

bin/kafka-topics.sh --bootstrap-server hadoop102:9092 --create --partitions 1 --replication-factor 3 --topic first

创建topic **–topic 定义topic名 --replication-factor 定义副本数 --partitions 定义分区数

bin/kafka-topics.sh --bootstrap-server hadoop102:9092 --describe --topic first

查看first主题的详情

bin/kafka-topics.sh --bootstrap-server hadoop102:9092 --alter --topic first --partitions 3

修改分区数 （注意：分区数只能增加，不能减少）

bin/kafka-topics.sh --bootstrap-server hadoop102:9092 --delete --topic first

删除 topic

生产者相关命令

bin/kafka-console-producer.sh -- bootstrap-server hadoop102:9092 --topic first

发送消息的命令

消费者相关命令

bin/kafka-console-consumer.sh -- bootstrap-server hadoop102:9092 --topic first

消费first主题中的数据

bin/kafka-console-consumer.sh -- bootstrap-server hadoop102:9092 --from-beginning --topic first

把主题中所有的数据都读取出来 （包括历史数据）

生产者

分区好处

便于合理使用存储资源，每个Partition在一个Broker上存储，可以把海量的数据按照分区切割成一块一块数据存储在多台Broker上。合理控制分区的任务，可以实现负载均衡的效果。
提高并行度，生产者可以以分区为单位发送数据；消费者可以以分区为单位进行消费数据。

ProducerRecord类，在类中可以看到如下构造方法

public ProducerRecord(String topic, Integer partition, Long timestamp, K key, V value, Iterable<Header> headers)

(1）指明partition的情况下，直接将指明的值作为partition值；例如partition=0，所有数据写入分区0

(2）没有指明partition值但有key的情况下，将key的hash值与topic的 partition数进行取余得到partition值； 例如：key1的hash值=5， key2的hash值=6 ，topic的partition数=2，那么key1 对应的value1写入1号分区，key2对应的value2写入0号分区。

(3）既没有partition值又没有key值的情况下，Kafka采用Sticky Partition（黏性分区器），会随机选择一个分区，并尽可能一直使用该分区，待该分区的batch已满或者已完成，Kafka再随机一个分区进行使用（和上一次的分区不同）。例如：第一次随机选择0号分区，等0号分区当前批次满了（默认16k）或者linger.ms设置的时间到， Kafka再随机一个分区进行使用（如果还是0会继续随机）。