shell 进入hadoop_hadoop之shell命令

一、启动命令

启动hadoop：start-dfs.sh，start-yarn.sh

关闭hadoop：stop-dfs.sh，stop-yarn.sh

启动hdfs时可在任意节点，启动yarn得在相应yarn的主节点上执行

hadoop fs -命令(hadoop1.0的时候用的)

hdfs dfs -命令(hadoop2.0的时候用的)

hadoop/hdfs 启动hadoop的客户端，连接hadoop集群

fs/dfs 连接hadoop的文件系统的，filesystem的客户端

二、查看hdfs的目录结构

hadoop fs -ls -R hdfs的目录(查看给定的hdfs的目录的子目录)

-R 级联查看

hadoop fs -ls -R /

hadoop fs -lsr /

注意：在hdfs中所有的路径只有绝对路径的访问形式必须从/开始

三、创建文件夹

hadoop fs -mkdir -p 需要创建的目录

-p   级联创建

hadoop fs -mkdir -p /aa/bb/cc

hadoop fs -mkdir /testin

四、文件上传

hdfs不支持文件修改的，在hdfs不能先创建一个空文件在进行编辑，只能本地编辑完成文件再上传到hdfs存储或者将本地的文件进行直接存储在hdfs上。

文件上传：将本地的文件传到hdfs存储进行分布式存储的。

hadoop fs -copyFromLocal 本地文件路径 hdfs路径

将本地文件拷贝到hdfs上，对应API

hadoop fs -moveFromLocal 本地文件路径 hdfs路径

将本地文件移动到hdfs上

hadoop fs -put 本地文件路径 hdfs路径

同  -copyFromLocal    提倡

hadoop fs -put hadoop-2.7.7.tar.gz /testin

hadoop fs -moveFromLocal hadoop-2.7.7.tar.gz /  剪切|移动

注意： 本地路径指的是客户端所在本地

文件上传的时候如果给定的是hdfs的目录，将本地文件传到hdfs的给定目录下，如果给的是一个hdfs不存在的文件|目录，将本地文件传到hdfs上，但是会重命名，命名为给定的文件名。

五、文件下载

hadoop fs -copyToLocal|moveToLocal|get  hdfs路径  本地路径

将hdfs文件下载到本地

hadoop fs -copyToLocal|get   将hdfs拷贝到本地

-get 推荐

hadoop fs -get /hadoop-2.7.7.tar.gz .

hadoop fs -moveToLocal  将hdfs的移动到本地(这个命令目前还是不支持的)

六、查看文件内容

hadoop fs -cat hdfs文件路径

hadoop fs -cat /hdfs-site.xml

查看hdfs文件的所有内容

hadoop fs -tail hdfs文件路径

hadoop fs -tail /hdfs-site.xml

查看hdfs给定文件的末尾1kb的数据

七、创建文件

hadoop fs -touchz hdfs文件名  创建空文件

hadoop fs -touchz /test_bd1901

注意：在hdfs中大小为0kb的文件不进行实际存储的datanode中不存储的，只在namenode中进行元数据存储。

八、删除文件或目录

hadoop fs -rm -f -r 需要删除hdfs的目录或文件

-f  force 强制删除

-r  级联删除用于删除目录的时候

删除文件

hadoop fs -rm -f /hadoop-2.7.7.tar.gz

删除目录

hadoop fs -rm -r -f /aa

九、修改hdfs文件或目录的读写权限

chmod -R 777 文件或目录

-R 级联修改目录下的所有子文件的权限的

hadoop fs -chmod -R 777 /testin

十、修改文件所属用户和组

chown -R 用户：组 文件或目录

hadoop fs -chown -R 用户：组 文件或目录

hadoop fs -chown -R hadoop:hadoop /testin

十一、修改hdfs文件的副本个数

hdfs配置文件 hdfs-site中设置的副本个数 2。

假如有一个文件很重要，需要将这个文件的副本改成3个：

-setrep [-R] [-w]  (set replication 修改副本的)

-R 级联修改目录下的所有文件

-w wait   等待新副本的复制完成|删除完成(阻塞方法)

hadoop fs -setrep 3 /hadoop6

只能修改hdfs上已经存在的文件或目录(对于上面的例子只修改hadoop6这个文件)，对于新上传的文件副本个数 hdfs-site 配置文件中的作用的。

hdfs的存储文件的副本的修改：

(1)配置文件  全局

hdfs-default.xml    3

hdfs-site.xml    2

(2)命令单个文件或目录的

hadoop fs -setrep

(3)加载：

hdfs-default 3

---> hdfs-site  2

--->setrep  3

最后加载的最终生效

十二、查看磁盘占有情况

du df

hadoop fs -du -h hdfs目录

hadoop fs -du -h /

统计hdfs的每一个文件夹|文件的大小

hadoop fs -df -h hdfs目录

hadoop fs -df -h /

查看指定路径的磁盘占有率

十三、其他

(1)-appendToFile 追加  了解

hadoop fs -appendToFile 本地文件 hdfs文件

将本地文件  追加到指定的hdfs文件的末尾

hadoop fs -appendToFile hdfs-site.xml /slaves  不建议使用的

(2)-cp|-mv

用法：

hadoop fs -cp|-mv hdfs路径  hdfs路径

将hdfs的(目录)文件 拷贝 | 移动  hdfs另一个文件路径中

hadoop fs -cp /slaves /sl01  了解

hadoop fs -mv /slaves /sl02  重命名  掌握

(3)-getmerge  合并下载  归并下载

将hdfs上的多个文件  合并为一个文件下载

hadoop fs -getmerge  hdfs路径1  hdfs路径2 … 本地路径

将hdfs的多个路径合并下载到本地

hadoop fs -getmerge /sl01 /sl02 /home/hadoop/testmetge

这个命令 默认将最后一个目录识别为本地路径

(4)-count  文件统计

(5)-text  将文件以文本显示

hadoop fs -text /hadoop6

十四、hdfs的所有路径权限定名

namenode的访问路径+需要访问的路径

core-site.xml

fs.defaultFS

hdfs://hdp01:9000

hdfs://hdp01:9000/

简写  /

全写：hadoop fs -ls hdfs://hdp01:9000/

hdfs  --》  协议

hdp01  namenode 主节点

hdfs有两个端口：

9000：datanode和namenode通信访问的端口内部rpc协议的

50070：客户端访问web界面的http协议端口