Log4j+Flume+Kafka+Spark Streaming的相关shell命令

Log4j+Flume+Kafka+Spark Streaming的相关shell命令

Flume启动：

flume-ng agent \
--conf $FLUME_HOME/conf  \
--conf-file $FLUME_HOME/conf/streaming2.conf \
--name agent1 \
-Dflume.root.logger=INFO,console

Zookeeper启动：

./zkServer.sh start

Kafka启动：

./kafka-server-start.sh -daemon $KAFKA_HOME/config/server.properties

Kafka创建Topic：

./kafka-topics.sh --create --zookeeper hadoop000:2181 \
--replication-factor 1 \
--partitions 1 \
--topic streamingtopic

Kafka查看Topic：

./kafka-topics.sh --list --zookeeper hadoop000:2181

Kafka的Consumer启动：

./kafka-console-consumer.sh --zookeeper hadoop000:2181 --topic streamingtopic