Hadoop命令行基本操作

Hadoop 重要的端口
1.Job Tracker 管理界面：50030
2.HDFS 管理界面 ：50070
3.HDFS通信端口：9000
4.MapReduce通信端口：9001
常用访问页面
1. HDFS 界面
http://hostname:50070
2. MapReduce 管理界面
http://hostname:50030

格式化文件系统
hadoop namenode –format

启动hadoop
* start-all.sh 启动所有的Hadoop守护。包括namenode, datanode, jobtracker, tasktrack
* stop-all.sh 停止所有的Hadoop

• start-mapred.sh 启动Map/Reduce守护。包括Jobtracker和Tasktrack

• stop-mapred.sh 停止Map/Reduce守护

• start-dfs.sh 启动Hadoop DFS守护Namenode和Datanode

• stop-dfs.sh 停止DFS守护

将当前目录转移至 /usr/local/hadoop即可执行命令

基本命令：
启动 sbin/start-dfs.sh
关闭 sbin/stop-dfs.sh
创建用户目录 bin/hdfs dfs -mkdir -p /user/hadoop
创建用户目录后即可使用用户目录的相对路径
复制文件 bin/hdfs dfs -put etc/hadoop/*.xml input
查看文件列表 bin/hdfs dfs -ls input
运行MapReduce作业 /usr/local/hadoop/bin/hadoop jar share/hadoop/mapreduce/hadoop-
mapreduce-examples-*.jar grep input output ‘dfs[a-z.]+’

查看运行结果 bin/hdfs dfs -cat output/*
将结果取回到本地 bin/hdfs dfs -get output output
删除hdfs上的output文件夹 bin/hdfs dfs -rm -r /user/hadoop/output