topic常用命令
- 创建topic
/usr/hdp/current/kafka-broker/bin/kafka-topics.sh --create --zookeeper master:2181,node01:2181,node02:2181 --replication-factor 1 --partitions 1 --topic XXX
- 生产者:向topic发送数据,注意在xshell中使用该命令后以 ctrl + C退出,否则关闭xshell后可能仍会在后台运行
/usr/hdp/current/kafka-broker/bin/kafka-console-producer.sh --broker-list master:6667,node01:6667,node02:6667 --topic XXX
- 消费者:使用topic中的数据,注意在xshell中使用该命令后以 ctrl + C退出,否则关闭xshell后可能仍会在后台运行
/usr/hdp/current/kafka-broker/bin/kafka-console-consumer.sh --bootstrap-server master:6667,node01:6667,node02:6667 --topic XXX
- 删除topic
/usr/hdp/current/kafka-broker/bin/kafka-topics.sh --delete --zookeeper master:2181,node01:2181,node02:2181 --topic XXX
- 查看topic列表
/usr/hdp/current/kafka-broker/bin/kafka-topics.sh --list --zookeeper master:2181,node01:2181,node02:2181
- 查看程序在后台的运行情况
ps -ef |grep XXX.py
- 杀死进程,pid可多个,以逗号分割
kill -9 <pid>
- 查看定时任务是否执行
grep "XXX.py" /var/log/cron
/usr/hdp/current/kafka-broker/bin/kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list master:6667,node01:6667,node02:6667,node03:6667,node04:6667,node05:6667,node06:6667,node07:6667 --topic Covid_CountryCovidDefault --time -1