启动hdfs kafka zookeeper fuflume指令

#启动hdfs kafka zookeeper fuflume producer consumer指令

##hdfs启动
start-dfs.sh
在这里插入图片描述
##启动zookeeper
./zkmanager.sh start
在这里插入图片描述
## 启动kafka
cd apps/kafka_2.12-2.2.0/bin/
./kafka-server-start.sh …/config/server.properties
在这里插入图片描述

##启动flume
cd apps/flume-1.8.0/bin/
./flume-ng agent -C …/conf/ -f …/dir-hdfs.conf -n ag1 -Dflume.root.logger=INFO.console
(这个跟踪的是下沉到hdfs中的)
./flume-ng agent -C …/conf/ -f …/dir-kafka.conf -n a1 -Dflume.root.logger=INFO.console
(这个跟踪的是下沉到kafka中的)

在这里插入图片描述

kafka 创建主题
./kafka-topics.sh --create --zookeeper hadoop01:2181,hadoop02:2181,hadoop03:2181 --replication-factor 1 --partitions 1 --topic test

在这里插入图片描述
//可以通过zk验证
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
kafka中创建生产者
./kafka-console-producer.sh --broker-list hadoop01:9092,hadoop02:9092,hadoop03:9092 --topic test
在这里插入图片描述
//消费消息
./kafka-console-consumer.sh --bootstrap-server hadoop01:9092,hadoop02:9092,hadoop03:9092 --topic test --from-beginning
在这里插入图片描述
//删除主题

./kafka-topics.sh --delete --zookeeper hadoop01:2181,hadoop02:2181,hadoop03:2181 --topic test2
在这里插入图片描述
//查看描述
./kafka-topics.sh --describe --zookeeper hadoop01:2181,hadoop02:2181,hadoop03:2181 --topic test
在这里插入图片描述

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值