【MapReduce】常用命令整理

sbin/start-all.sh # 启动所有的Hadoop守护进程。包括NameNode、 Secondary NameNode、DataNode、ResourceManager、NodeManager

sbin/stop-all.sh  # 停止所有的Hadoop守护进程。包括NameNode、 Secondary NameNode、DataNode、ResourceManager、NodeManager

sbin/start-dfs.sh # 启动Hadoop HDFS守护进程NameNode、SecondaryNameNode、DataNode

sbin/stop-dfs.sh  # 停止Hadoop HDFS守护进程NameNode、SecondaryNameNode和DataNode

sbin/hadoop-daemons.sh start namenode # 单独启动NameNode守护进程

sbin/hadoop-daemons.sh stop namenode  # 单独停止NameNode守护进程

sbin/hadoop-daemons.sh start datanode # 单独启动DataNode守护进程

sbin/hadoop-daemons.sh stop datanode  # 单独停止DataNode守护进程

sbin/hadoop-daemons.sh start secondarynamenode # 单独启动SecondaryNameNode守护进程

sbin/hadoop-daemons.sh stop secondarynamenode  # 单独停止SecondaryNameNode守护进程

sbin/start-yarn.sh # 启动ResourceManager、NodeManager

sbin/stop-yarn.sh  # 停止ResourceManager、NodeManager

sbin/yarn-daemon.sh start resourcemanager # 单独启动ResourceManager

sbin/yarn-daemons.sh start nodemanager    # 单独启动NodeManager

sbin/yarn-daemon.sh stop resourcemanager  # 单独停止ResourceManager

sbin/yarn-daemons.sh stopnodemanager      # 单独停止NodeManager

sbin/mr-jobhistory-daemon.sh start historyserver # 手动启动jobhistory

sbin/mr-jobhistory-daemon.sh stop historyserver  # 手动停止jobhistory

# 创建文件夹
$ ./bin/hadoop fs -mkdir /folder_name

# 删除文件夹
$ ./bin/hadoop fs -rm -r -skipTrash /folder_name

# 删除文件
$ ./bin/hadoop fs -rm -r -skipTrash /path_to_file/file_name

# 上传文件（注意在当前文件下的file需要加‘.’）
$ ./bin/hadoop fs -put -f ./file/file_name.txt /input

# 运行文件
$ hadoop jar ./libexec/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.1.jar wordcount /input/file_name /output

# 查看运行结果
$ hadoop fs -ls /output

# 查看每个单词的统计结果
$ hadoop fs -cat /output/part-r-00000

【注意】

运行文件之前，先确定Hadoop上有没有output文件，如果先用以上命令删除

不然运行下来的结果还是上一次运行的结果。