【hadoop】linux下hadoop dfs命令

hdfs dfs、hadoop fs、hadoop dfs三个命令的区别：

      在介绍命令之前，首先要知道hdfs dfs、hadoop fs、hadoop dfs三个命令的区别。

      hadoop fs：通用的文件系统命令，针对任何系统，比如本地文件、HDFS文件、HFTP文件、S3文件系统等。

      hadoop dfs：特定针对HDFS的文件系统的相关操作，但是已经不推荐使用。

      hdfs dfs：与hadoop dfs类似，同样是针对HDFS文件系统的操作，官方推荐使用。

 

hdfs dfs -help 查看帮助

 

1.创建目录（即文件夹）

hdfs dfs -mkdir -p <目录>

-p：递归创建目录

 

2.将服务器文件复制上传到hdfs

hdfs dfs -put <linux文件> <hdfs目录>

 

3.文件切割成多块

hdfs dfs -D dfs.blocksize=1048576 -put <linux文件> <不写，默认hadoop家目录>

-D dfs.blocksize=1048576：每块指定大小为1M