Hadoop常用命令
进入HADOOP_HOME目录bin
1.关闭Hadoop集群 执行 ./stop-all.sh
2.启动Hadoop集群 执行 ./start-all.sh
3.创建目录 执行 ./hadoop fs -mkdir 创建文件路径
在/usr/local/hadoop下创建文件夹dir ./hadoop fs –mkdir /usr/local/hadoop/dir
4.查看目录列表 执行 ./hadoop fs -ls 文件路径
查看/usr/local/hadoop的文件目录 ./hadoop fs –ls /usr/local/hadoop
5.修改HDFS文件及目录权限 执行hadoop fs -chown [-R] [OWNER][:[GROUP]] URI [URI ]
修改文件目录/usr/local/hadoop/dir权限 ./hadoop fs –chown –R root: supergroup /usr/local/hadoop/dir
6.复制HDFS上的文件 执行 ./hadoop distcp 源地址 目标地址
复制/usr/local/hadoop下的dir到/usr/local下 ./hadoop distcp /usr/local/hadoop /usr/local/
7.删除HDFS上的文件
删除一个文件 执行 ./hadoop fs -rm 文件路径
删除/usr/local/hadoop/dir下的文件 ./hadoop fs –rm /usr/local/hadoop/dir
删除一个文件夹下所有文件 执行 ./hadoop fs -rmr 文件路径
删除/usr/local/hadoop下的所有文件 ./hadoop fs –rmr /usr/local/hadoop
8.从本地上传文件到HDFS中 执行 ./hadoop fs –put 本机文件 目标路径
上传本机文件/home/admin/newFile到HDFS中usr/local/hadoop目录下 ,执行 ./hadoop fs –put /home/admin/newFile /usr/local/hadoop/
9.从HDFS下载文件到本地 执行 ./hadoop fs –get 下载地址 目标地址
下载HDFS中/usr/local/hadoop下的newFile文件到本机/home/admin/newFile中,执行 ./hadoop fs –get /usr/local/hadoop /newFile /home/admin/newFile
10. 结束某个正在运行的job 执行 ./hadoop job –kill id
Job_Id为:job_201005310937,执行 ./hadoop job -kill job_201005310937
免登陆SCP配置'
ssh-keygen -t rsa 生成认证文件
cd /root/.ssh/ 到该目录下
cp id_rsa.pub authorized_keys 改名字
scp authorized_keys root@IP1:/root/.ssh/ 复制认证文件
scp authorized_keys root@IP2:/root/ 执行scp一次
jps 查看Hadoop节点信息
参考:http://hadoop.apache.org/docs/r1.0.4/cn/hdfs_shell.html