大数据学习之kafka的基本使用命令

1,后台启动kafka,-daemon代表后台启动
kafka-server-start.sh -daemon /usr/local/soft/kafka_2.11-1.0.0/config/server.properties

2,创建topic,该命令可在任何位置执行

kafka-topics.sh --create --zookeeper master:2181,node1:2181,node2:2181 --replication-factor 3 --partitions 3 --topic test_topic3

--replication-factor  ---每一个分区的副本数量, 同一个分区的副本不能放在同一个节点,副本的数量  不能大于kafak集群节点的数量
--partition   --分区数,  根据数据量设置,不能超过节点的数量
--zookeeper zk的地址,将topic的元数据保存在zookeeper中

3,查看topic描述信息

kafka-topics.sh --describe  --zookeeper master:2181,node1:2181,node2:2181 --topic test_topic2

4,获取所有topic,__consumer_offsetsL kafka用于保存消费便宜量的topic

kafka-topics.sh --list  --zookeeper  master:2181,node1:2181,node2:2181

5,创建控制台生产者

kafka-console-producer.sh --broker-list master:9092,node1:9092,node2:9092 --topic test_topic2

6,创建控制台消费者

 --from-beginning   从头消费,, 如果不在执行消费的新的数据
kafka-console-consumer.sh --bootstrap-server  master:9092,node2:9092,node2:9092 --from-beginning --topic test_topic2

7,kafka数据保存的方式

### 保存的文件
/usr/local/soft/kafka_2.11-1.0.0/data

### 每一个分区每一个副本对应一个目录

### 每一个分区目录中可以有多个文件, 文件时滚动生成的
00000000000000000000.log
00000000000000000001.log
00000000000000000002.log

### 滚动生成文件的策略
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000

### 文件删除的策略,默认时7天,以文件为单位删除
log.retention.hours=168

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值