hadoop运行和基本命令

官网文献：Hadoop Shell命令

1、在hdfs上创建目录

[root@master home]# hadoop fs -mkdir /lmq

2、从本剪切制文件到hdfs上,先创建user.txt

[root@master home]# hadoop fs -moveFromLocal user.txt /lmq/

3、从hdfs上剪切到本地

[root@master home]# hadoop fs -moveToLocal /lmq/user.txt /home

4、上传文件，-put

[root@master home]# hadoop fs -put shu.txt /lmq

5、得到hdfs的文件，-get

[root@master home]# hadoop fs -get /lmq/user.txt /home/tmp

#合并下载，几个文件合并为一个再下载到本地

[root@master home]# hadoop fs -getmerge /lmq/lzy.* /lmq/lzy.txt

6、追加一个文件到也存在文件的末尾

[root@master home]# hadoop fs -appendToFile lzy.txt /lmq

7、查看，-cat -tail(显示末尾) -text(以字符形式打印)

[root@master home]# hadoop fs -cat /lmq/lzy.txt

8、显示最后几行

[root@master hadoops]# hadoop fs -cat /user/root/input/person |tail -2

在末尾添加tail -行数

|shuf -n 随机显示几行

|head -n 开头几行

9、hdfs复制路径

[root@master home]# hadoop fs -cp /lmq/ /lmqs

10、hdfs移动文件

[root@master home]# hadoop fs -mv /lmqs/lmq /tmp

11、删除

[root@master home]# hadoop fs -rm /lmq/lzy.txts

#删除空目录

[root@master home]# hadoop fs -rmdir /lmqs

#删除目录

[root@master home]# hadoop fs -rm -r skipTrash /lmqss

12、修改权限 chgrp改分组 chmod改权限 chown改拥有者

[root@master home]# hadoop fs -chmod 666 /lmq/user.txt

[root@master home]# hadoop fs -ls /lmq/user.txt

-rw-rw-rw- 3 root supergroup 8 2020-01-03 20:40 /lmq/user.txt

13、统计系统空间

[root@master home]# hadoop fs -df -h

Filesystem Size Used Available Use% hdfs://ns 21.0 G 288.0 K 8.2 G 0%

14、统计文件大小

[root@master home]# hadoop fs -du -s -h /lmq 16 /lmq

15、统计目录下的文件节点数量，文件有多少

[root@master home]# hadoop fs -count /lmq 1 3 16 /lmq

16、设置hdfs中文本的副本数量

[root@master home]# hadoop fs -setrep 3 /lmq/lzy.txt Replication 3 set: /lmq/lzy.txt

17、创建一个空文件

hadoop dfs -touchz /wahaha

18、查看dfs的情况

hadoop dfsadmin -report

19、expunge清空回收站

使用方法：hadoop fs -expunge

20、查看文件有几行,

hadoop fs -cat /文件路径 | wc -l

#这个是L

21、运用jar

hadoop fs jar xxxx.jar xxx.MainClassName inputPath outputPath

xxxx.jar架包的路径名字 xxx.MainClassName运行的类名称

inputPath 输入路径

outputPath 输出路径

22、查看所有文件

hadoop fs -ls -R /

oiv

oev

22，将文件复制到s3n

hadoop distcp /xxx/xxx s3n://xx/xx

前面是hdfs路径，后面是s3n路径