1. hdfs基本操作
-
hadoop fs类似于hdfs dfs
-
如何查看hdfs子命令的帮助信息,如ls子命令
hdfs dfs -help rmdir
-
查看hdfs文件系统中已经存在的文件
hdfs dfs -ls / hadoop fs -ls /
-
在hdfs文件系统中创建文件
hdfs dfs -touchz /1.txt
-
从本地路径上传文件至HDFS
hdfs dfs -put /本地路径 /hdfs路径 hdfs dfs -put hadoop-2.7.3.tar.gz /
-
在hdfs文件系统中下载文件
hdfs dfs -get /hdfs路径 /本地路径
-
在hdfs文件系统中删除文件
hdfs dfs -rm /1.txt
-
在hdfs文件系统中查看文件内容
hdfs dfs -cat /xrsync.sh
-
在hdfs文件系统中创建目录
hdfs dfs -mkdir /shell
-
在hdfs文件系统中修改文件名称(也可以用来移动文件到目录)
hdfs dfs -mv /xcall.sh /call.sh hdfs dfs -mv /call.sh /shell
-
在hdfs中拷贝文件到目录
hdfs dfs -cp /xrsync.sh /shell
-
递归删除目录
hdfs dfs -rmr /shell
-
列出本地文件的内容(默认是hdfs文件系统)
hdfs dfs -ls file:///home/bruce/
-
追加文件内容到hdfs文件系统中的文件
hdfs dfs -appendToFile xrsync.sh /xcall.sh
2. hdfs与getconf结合使用
-
获取NameNode的节点名称(可能有多个)
hdfs getconf -namenodes
-
获取hdfs最小块信息
hdfs getconf -confKey dfs.namenode.fs-limits.min-block-size
-
查找hdfs的NameNode的RPC地址
hdfs getconf -nnRpcAddresses
3. hdfs与dfsadmin结合使用
-
查看hdfs dfsadmin的帮助信息
hdfs dfsadmin
-
查看当前的模式
hdfs dfsadmin -safemode get
-
进入安全模式
hdfs dfsadmin -safemode enter
4. hdfs与fsck结合使用
-
fsck指令显示HDFS块信息
hdfs fsck / -files -blocks
5. 其他命令
-
检查压缩库本地安装情况
hadoop checknative
-
格式化名称节点(慎用,一般只在初次搭建集群,使用一次)
hadoop namenode -format
-
执行自定义jar包
hadoop jar YinzhengjieMapReduce-1.0-SNAPSHOT.jar com.kaikeba.hadoop.WordCount /world.txt /out