基础hadoop shell命令

mapReduce执行java Jar地址

jar文件目录：hadoop/share/hadoop/mapreduce/Jar名+后缀


测试执行 例如Jar名为：mapReduce4_100.jar
hadoop jar Jar名 -starttime 20151027 -endtime 20151027
hadoop jar mapReduce4_100.jar -starttime 20151027 -endtime 20151027


各节点状态 存储空间使用率
hadoop dfsadmin -report


结束hadoop进程
hadoop job -list
hadoop job -kill job_201212111628_11166
hadoop job -status job-id //查看mr百分比


查看文件
 hdfs dfs -ls /yjxx/2015


删除文件
hdfs dfs -rmr /yjxx/2015


查看jps
jps


杀死jsp进程
kill JPS编号


复制文件至指定路径
scp 源文件 hadoop2:/home/hadoop.....


scp mapReduce_sjtdxx.jar hadoop2:/home/hadoop/hadoop2.7/share/hadoop/mapreduce




FS Shell
调用文件系统(FS)Shell命令应使用 bin/hadoop fs <args>的形式。 所有的的FS shell命令使用URI路径作为参数。URI格式是scheme://authority/path。
对HDFS文件系统，scheme是hdfs，
对本地文件系统，scheme是file。其中scheme和authority参数都是可选的，如果未加指定，就会使用配置中指定的默认scheme。一个HDFS文件或目录比如/parent/child可以表示成hdfs://namenode:namenodeport/parent/child，或者更简单的/parent/child（假设你配置文件中的默认值是namenode:namenodeport）。大多数FS Shell命令的行为和对应的Unix Shell命令类似，不同之处会在下面介绍各命令使用详情时指出。出错信息会输出到stderr，其他信息输出到stdout。


查看hdfs文件目录
hadoop fs -ls url
hadoop fs -ls hdfs://192.168.60.31:9000/tdxx/2015/11
把本地文件复制到HDFS
hadoop fs -copyFromLocal localfile.txt /tdxxb/localfile.txt
把HDFS的文件复制到本地
hadoop fs -copyToLocal /tdxxb/localfile.txt ./localfile.txt
创建HDFS文件夹
hadoop fs -mkdir /books
列出HDFS文件系统根目录
hadoop fs -ls file:///


编辑文件 hdfs 文件
 vi hdfs://192.168.60.31:9000/tdxx/2015/11/20151112042224.tdxx


删除 hdfs文件
hadoop fs -rm hdfs://192.168.60.31:9000/tdxx/2015/11/2015111204.tdxx


删除提示：将文件移至  .Trash/Current文件中
Moved: 'hdfs://192.168.60.31:9000/sjxx/2015/11/20151111.sjxx' to trash at: hdfs://192.168.60.31:9000/user/hadoop/.Trash/Current


恢复被删除的文件
hadoop fs -mv 被删除文件路径 移至目标路径
hadoop fs -mv  hdfs://192.168.60.31:9000/user/hadoop/.Trash/Current/sjxx/2015/11/20151111.sjxx hdfs://192.168.60.31:9000/sjxx/2015/11/


start-all.sh 启动所有的Hadoop守护进程。包括NameNode、 Secondary NameNode、DataNode、JobTracker、 TaskTrack
stop-all.sh 停止所有的Hadoop守护进程。包括NameNode、 Secondary NameNode、DataNode、JobTracker、 TaskTrack
start-dfs.sh 启动Hadoop HDFS守护进程NameNode、SecondaryNameNode和DataNode
stop-dfs.sh 停止Hadoop HDFS守护进程NameNode、SecondaryNameNode和DataNode
hadoop-daemons.sh start namenode 单独启动NameNode守护进程
hadoop-daemons.sh stop namenode 单独停止NameNode守护进程
hadoop-daemons.sh start datanode 单独启动DataNode守护进程
hadoop-daemons.sh stop datanode 单独停止DataNode守护进程
hadoop-daemons.sh start secondarynamenode 单独启动SecondaryNameNode守护进程
hadoop-daemons.sh stop secondarynamenode 单独停止SecondaryNameNode守护进程
start-mapred.sh 启动Hadoop MapReduce守护进程JobTracker和TaskTracker
stop-mapred.sh 停止Hadoop MapReduce守护进程JobTracker和TaskTracker
hadoop-daemons.sh start jobtracker 单独启动JobTracker守护进程
hadoop-daemons.sh stop jobtracker 单独停止JobTracker守护进程
hadoop-daemons.sh start tasktracker 单独启动TaskTracker守护进程
hadoop-daemons.sh stop tasktracker 单独启动TaskTracker守护进程




如果Hadoop集群是第一次启动，可以用start-all.sh。比较常用的启动方式是一个一个守护进程来启动，启动的步骤如下。




1．启动Hadoop的HDFS模块里的守护进程




HDFS里面的守护进程启动也有顺序，即：




1）启动NameNode守护进程；




2）启动DataNode守护进程；




3）启动SecondaryNameNode守护进程。




2．启动MapReduce模块里面的守护进程




MapReduce的守护进程启动也是有顺序的，即：




1）启动 JobTracker守护进程；




2）启动TaskTracker守护进程。




关闭的步骤正好相反，


远程登录
ssh 用户名@IP


重启远程登录服务
service sshd restart


整体启停命令
start-all.sh
stop-all.sh


HDFS启停
start-dfs.sh
stop-dfs.sh


MapReduce启停
start-mapred.sh
stop-mapred.sh


NN启停命令
hadoop-daemon.sh start namenode
hadoop-daemon.sh stop namenode


SNN启停命令
hadoop-daemon.sh start secondarynamenode
hadoop-daemon.sh stop secondarynamenode


DN启停命令
hadoop-daemon.sh start datanode
hadoop-daemon.sh stop datanode


JobTracker启停命令
hadoop-daemon.sh start jobtracker
hadoop-daemon.sh stop jobtracker


TaskTracker启停命令
hadoop-daemon.sh start tasktracker
hadoop-daemon.sh stop tasktracker