Hadoop常用命令

Hadoop常用命令

进入HADOOP_HOME目录bin

1.关闭Hadoop集群  执行   ./stop-all.sh

2.启动Hadoop集群  执行   ./start-all.sh

3.创建目录  执行  ./hadoop fs -mkdir  创建文件路径

在/usr/local/hadoop下创建文件夹dir   ./hadoop fs –mkdir /usr/local/hadoop/dir

4.查看目录列表  执行  ./hadoop fs -ls 文件路径 

查看/usr/local/hadoop的文件目录  ./hadoop fs –ls /usr/local/hadoop

5.修改HDFS文件及目录权限 执行hadoop fs -chown [-R] [OWNER][:[GROUP]] URI [URI ]

修改文件目录/usr/local/hadoop/dir权限 ./hadoop fs –chown –R root: supergroup /usr/local/hadoop/dir

6.复制HDFS上的文件  执行    ./hadoop distcp 源地址 目标地址

复制/usr/local/hadoop下的dir到/usr/local下    ./hadoop distcp /usr/local/hadoop /usr/local/

7.删除HDFS上的文件 

删除一个文件  执行  ./hadoop fs -rm 文件路径

删除/usr/local/hadoop/dir下的文件   ./hadoop fs –rm /usr/local/hadoop/dir

删除一个文件夹下所有文件  执行  ./hadoop fs -rmr 文件路径

删除/usr/local/hadoop下的所有文件  ./hadoop fs –rmr /usr/local/hadoop

8.从本地上传文件到HDFS中  执行   ./hadoop fs –put 本机文件 目标路径

上传本机文件/home/admin/newFile到HDFS中usr/local/hadoop目录下 ，执行   ./hadoop fs –put /home/admin/newFile  /usr/local/hadoop/

9.从HDFS下载文件到本地  执行   ./hadoop fs –get 下载地址 目标地址

下载HDFS中/usr/local/hadoop下的newFile文件到本机/home/admin/newFile中，执行   ./hadoop  fs  –get  /usr/local/hadoop /newFile  /home/admin/newFile

10. 结束某个正在运行的job  执行  ./hadoop job –kill id

Job_Id为：job_201005310937，执行  ./hadoop job -kill job_201005310937

 

免登陆SCP配置'

ssh-keygen  -t  rsa  生成认证文件

cd /root/.ssh/ 到该目录下

cp id_rsa.pub authorized_keys 改名字

scp authorized_keys root@IP1:/root/.ssh/ 复制认证文件

scp authorized_keys root@IP2:/root/ 执行scp一次

jps 查看Hadoop节点信息

 

参考：http://hadoop.apache.org/docs/r1.0.4/cn/hdfs_shell.html

转载于:https://www.cnblogs.com/Amy-Kong/p/3540230.html