hadoop fs常用到的命令整理

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/czz1141979570/article/details/96964240

一、hdfs基本操作

hadoop fs 与hdfs dfs等价

1.如何查看hdfs子命令的帮助信息,如ls

hdfs dfs -help rmdir

2.查看hdfs文件系统中已经存在的文件

hdfs dfs -ls /

hadoop fs -ls /

3.在hdfs文件系统中创建文件

hdfs dfs -touch /czz.txt

4.从本地路径上传文件到hdfs

hdfs dfs -put  /本地路径  /hdfs路径

hdfs dfs -put  /home/czz/czz.txt  /czz

5.从hdfs文件系统中下载文件到本地

hdfs dfs -get  /hdfs路径  /本地路径 

hdfs dfs -get  /czz  /home/czz/czz.txt

6.在hdfs文件系统中删除文件

hdfs dfs -rm /czz.txt

7.在hdfs文件系统中查看文件内容

hdfs dfs -cat /czz.txt

8.在hdfs文件系统中创建目录

hdfs dfs -mkdir /czz

9.在hdfs文件系统中修改文件名称(或者移动文件到目录)

hdfs dfs -mv /czz.txt /nl.txt

hdfs dfs -mv /czz.txt /nl

10.在hdfs文件系统中拷贝文件到目录

hdfs dfs -cp /czz.txt /nl

11.递归删除目录

hdfs dfs -rmr /czz

12.列出本地文件的内容(默认是hdfs文件系统)

hdfs dfs -ls file:///home/admin

13.追加文件内容到hdfs文件系统中的文件

hdfs dfs -appendToFile  czz2.txt  /czz/czz.txt

 

二、hdfs与dfsadmin结合操作

1.查看hdfs与dfsadmin的帮助信息

hdfs dfsadmin

2.查看当前的模式

hdfs dfsadmin -safemode -get

3.进入安全模式

hdfs dfsadmin -safemode -enter

4.离开安全模式

hdfs dfsadmin -safemode -leave

 

三、hdfs与getconf结合操作

1.获取NameNode的节点名称(可能多个)

hdfs getconf -namenodes

2.获取hdfs最小块信息

hdfs getconf -confkey dfs.namenode.fs-limits.min-block-size

3.查找hdfs的NameNode的RPC地址

hdfs getconf -nnRpcAddresses

 

四、hdfs与fsck结合操作

1.fsck指令显示hdfs块信息

hdfs fsck / -files -blocks

 

五、其他命令操作

1.检查压缩库本地安装情况

hadoop checknative

2.格式化名称节点(慎用!!! 一般只在初次搭建集群,使用一次)

hadoop namenode -format

注意:格式化NameNode,会产生新的集群id,导致NameNodeDataNode的集群id不一致,集群找不到已往数据。所以,格式NameNode时,一定要先删除data数据和log日志,然后再格式化NameNode

$ cat data/tmp/dfs/name/current/VERSION

  clusterID=CID-f0330a58-36fa-4a2a-a65f-2688269b5837

$ cat data/tmp/dfs/data/current/

  clusterID=CID-f0330a58-36fa-4a2a-a65f-2688269b5837

3.执行自定义jar包

hadoop  jar  XXXjar包  执行命令  输入路径  输出路径

hadoop jar XXXX.jar WordCount /world.txt /out

 

 

--------------------------------------------------------------------------------------------------------------------------------------------------------------------

      用人品去感动别人,用改变去影响别人,用状态去燃烧别人,用行动去带动别人,用阳光去照耀别人,用坚持去赢得别人,要求自己每天都去做与目标有关的事情,哪怕每天只进步一点点,坚持下来你就是最优秀卓越的!欢迎大家加入大数据交流群:725967421     一起交流,一起进步!!

--------------------------------------------------------------------------------------------------------------------------------------------------------------------
--------------------- 
 

 

展开阅读全文

hadoop fs -put报错

11-01

start-all启动正常,防火墙关闭,safemode也已关闭,伪分式的windows cygwin环境,在-put操作时还是会报以下错,请高手指教一下呀,已经烦了一个下午,刚接触hadoop,我自己真的是没辙了。rnrnorg.apache.hadoop.ipc.RemoteException: java.io.IOException: File /user/dz64/input4/wordcount.txt cournld only be replicated to 0 nodes, instead of 1rn at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getAdditionalBlock(FSNamesystem.java:rn1271)rn at org.apache.hadoop.hdfs.server.namenode.NameNode.addBlock(NameNode.java:422)rn at sun.reflect.GeneratedMethodAccessor9.invoke(Unknown Source)rn at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)rn at java.lang.reflect.Method.invoke(Method.java:597)rn at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:508)rn at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:959)rn at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:955)rn at java.security.AccessController.doPrivileged(Native Method)rn at javax.security.auth.Subject.doAs(Subject.java:396)rn at org.apache.hadoop.ipc.Server$Handler.run(Server.java:953)rnrn at org.apache.hadoop.ipc.Client.call(Client.java:740)rn at org.apache.hadoop.ipc.RPC$Invoker.invoke(RPC.java:220)rn at $Proxy0.addBlock(Unknown Source)rn at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)rn at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)rn at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)rn at java.lang.reflect.Method.invoke(Method.java:597)rn at org.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod(RetryInvocationHandler.javrna:82)rn at org.apache.hadoop.io.retry.RetryInvocationHandler.invoke(RetryInvocationHandler.java:59)rn at $Proxy0.addBlock(Unknown Source)rn at org.apache.hadoop.hdfs.DFSClient$DFSOutputStream.locateFollowingBlock(DFSClient.java:2937rn)rn at org.apache.hadoop.hdfs.DFSClient$DFSOutputStream.nextBlockOutputStream(DFSClient.java:281rn9)rn at org.apache.hadoop.hdfs.DFSClient$DFSOutputStream.access$2000(DFSClient.java:2102)rn at org.apache.hadoop.hdfs.DFSClient$DFSOutputStream$DataStreamer.run(DFSClient.java:2288) 论坛

没有更多推荐了,返回首页