与集群相关的linux使用

Hadoop集群

Hadoop集群启动，关闭

启动

在三台机器上启动zookeeper

cd app/zookeeper-3.4.5/bin

./zkServer.sh start

在01执行start-dfs.sh

在01执行start-yarn.sh

关闭

在01执行stop-yarn.sh

在01执行stop-dfs.sh

在三台机器上关闭zookeeper

cd app/zookeeper-3.4.5/bin

./zkServer.sh stop

kafka

先启动zookeeper，再启动kafka，zookeeper在kafka里有自带的，如果要使用需要进行配置。

三台机器都 bin/kafka-server-start.sh config/server.properties

开启话题 bin/kafka-topics.sh --create --zookeeper ha3vm01:2181 --replication-factor 3 --partitions 1 --topic myto

启动生产者 bin/kafka-console-producer.sh --broker-list ha3vm01:9092 --topic myto

启动消费者 bin/kafka-console-consumer.sh --zookeeper ha3vm01:2181 --from-beginning --topic myto

 

 

 

Hadoop其他指令

运行jar

hadoop jar hadoopT.jar fl5point1.StreamCompressor org.apache.hadoop.io.compress.GzipCodec

hadoop fs -mkdir /directory

hadoop fs -ls /

 

Shell

$ echo "Text" | hadoop fl5point1.StreamCompressor org.apache.hadoop.io.compress.GzipCodec \ | gunzip

Error: Could not find or load main class fl5point1.StreamCompressor

（不知道为什么，过几天搞搞shell看看为什么）

 

 

sftp使用

Alt + p进入

传向集群

put c:/hadoopT.jar