hdfs-shell操作

原创 2015年11月19日 23:29:03

查看hdfs文件系统指定路径的文件:

[root@zwt1 ~]# hdfs dfs -ls /

Found 4 items

drwxr-xr-x  - root supergroup          02015-11-05 03:31 /data

drwxr-xr-x  - root supergroup          02015-11-05 03:32 /output

drwxrwx---  - root supergroup          02015-11-05 07:51 /tmp

drwxr-xr-x  - root supergroup          02015-11-06 23:59 /usr

 

在hdfs文件系统中创建文件夹

[root@zwt1 ~]# hdfs dfs -mkdir /data/mydata

[root@zwt1 ~]# gedit test.txt

[root@zwt1 ~]# hdfs dfs -put test.txt/data/mydata   //将本地文件上传到hdfs文件系统中

 

[root@zwt1 ~]# hdfs dfs -dus/data/mydata/test.txt  //查看文件大小

dus: DEPRECATED: Please use 'du -s'instead.

73 /data/mydata/test.txt

 

[root@zwt1 ~]# hdfs dfs -du /data/mydata   //查看文件夹中文件大小

73 /data/mydata/test.txt

 

[root@zwt1 ~]# hdfs dfs -cp/data/mydata/test.txt /usr/    //从源位置复制到指定位置

 

[root@zwt1 ~]# hdfs dfs -copyFromLocaltest.txt /tmp  //将本地文件上传到hdfs文件系统,相当于put

 

[root@zwt1 ~]# mkdir data

[root@zwt1 ~]# cd data

[root@zwt1 data]# hdfs dfs -copyToLocal/tmp/test.txt   //将hdfs文件系统的文件复制到本地,相当于get

 

[root@zwt1 data]# ls

test.txt

[root@zwt1 data]# rm test.txt

rm: remove regular file `test.txt'? y

[root@zwt1 data]# ls

[root@zwt1 data]# hdfs dfs -get/tmp/test.txt  //将hdfs文件系统的文件复制到本地

[root@zwt1 data]# ls

test.txt

[root@zwt1 data]# cat test.txt

hello world

hello hadoop

spark scala

centos linux

hello linux

bye hadoop

[root@zwt1 data]# ls

test.txt

[root@zwt1 data]# hdfs dfs -put test.txt/output

[root@zwt1 data]# hdfs dfs -ls /output

Found 1 items

-rw-r--r--  2 root supergroup         732015-11-09 04:37 /output/test.txt

[root@zwt1 data]# hdfs dfs -touchz/tmp/mydata.txt  //创建一个空文件

[root@zwt1 data]# hdfs dfs -ls /tmp

Found 4 items

drwxrwx---  - root supergroup          02015-11-05 03:26 /tmp/hadoop-yarn

drwx-wx-wx  - root supergroup          02015-11-05 07:51 /tmp/hive

-rw-r--r--  2 root supergroup          02015-11-09 04:38 /tmp/mydata.txt

-rw-r--r--  2 root supergroup         732015-11-09 04:34 /tmp/test.txt

 

[root@zwt1 data]# hdfs dfs -tail/tmp/test.txt  //返回文件系统中指定文件1kb大小的内容

hello world

hello hadoop

spark scala

centos linux

hello linux

bye hadoop

 

[root@zwt1 data]# hdfs dfs -ls /output

Found 1 items

-rw-r--r--  2 root supergroup         732015-11-09 04:37 /output/test.txt

[root@zwt1 data]# hdfs dfs -rm/output/test.txt   //删除文件

15/11/09 04:48:06 INFOfs.TrashPolicyDefault: Namenode trash configuration: Deletion interval = 0minutes, Emptier interval = 0 minutes.

Deleted /output/test.txt

[root@zwt1 data]# hdfs dfs -mv/tmp/test.txt /output/  //在hsdfs文件系统中移动文件

[root@zwt1 data]# hdfs dfs -ls /tmp

Found 3 items

drwxrwx---  - root supergroup          02015-11-05 03:26 /tmp/hadoop-yarn

drwx-wx-wx  - root supergroup          02015-11-05 07:51 /tmp/hive

-rw-r--r--  2 root supergroup          02015-11-09 04:38 /tmp/mydata.txt

[root@zwt1 data]# hdfs dfs -ls /output

Found 1 items

-rw-r--r--  2 root supergroup         732015-11-09 04:34 /output/test.txt

[root@zwt1 data]# hdfs dfs -cat/output/test.txt  //查看文本文件内容

hello world

hello hadoop

spark scala

centos linux

hello linux

bye hadoop

[root@zwt1 data]# ls

test.txt

[root@zwt1 data]# rm test.txt

rm: remove regular file `test.txt'? y

[root@zwt1 data]# ls

[root@zwt1 data]# vim data.txt

[root@zwt1 data]# hdfs dfs -text/output/data.txt //查看文本文件内容

hadoop

linux

spark

scala

hive

hbase

zookeeper

sqoop

[root@zwt1 data]# hdfs dfs -moveFromLocaldata.txt /output  //从本地剪切到hdfs文件系统中

[root@zwt1 data]# hdfs dfs -ls /output

Found 2 items

-rw-r--r--  2 root supergroup         52 2015-11-09 04:53 /output/data.txt

-rw-r--r--  2 root supergroup         732015-11-09 04:34 /output/test.txt

[root@zwt1 data]#

版权声明:本文为博主原创文章,未经博主允许不得转载。

HDFS Shell基本操作总结

本文转自http://www.mc2lab.com/?p=444,所有权利归原作者所有。 1.HDFS Shell基本操作总结 1.1 浏览你的HDFS目录 [root@slave1 bin...
  • sdujava2011
  • sdujava2011
  • 2015年07月10日 17:09
  • 712

hdfs简介&hdfs-shell&hdfs-API

HDFS简介:     HDFS概念:     HDFS(Hadoop Distributed File System)是运行在linux文件系统之上的一个分布式文件系统,是基于流数据模式访问...
  • u013234372
  • u013234372
  • 2014年09月30日 16:36
  • 705

“hdfs dfs -ls”命令的使用

“hdfs dfs -ls”带一个参数,如果参数以“hdfs://URI”打头表示访问HDFS,否则相当于ls。 其中URI为NameNode的IP或主机名,可以包含端口号,即hdfs-site.x...
  • Aquester
  • Aquester
  • 2014年04月17日 18:57
  • 2848

HDFS安装、配置以及基本使用

HDFS是一个分布式文件系统,安装完成之后使用起来类似于本地文件系统,但是它是一个网络文件系统,所以访问这种文件系统的方式和访问本地文件系统的方式还是有所差别的(本地文件系统的方式是基于系统调用的,当...
  • yu616568
  • yu616568
  • 2015年01月16日 18:33
  • 1706

形态学开操作与闭操作

开操作是先腐蚀再膨胀,闭操作是先膨胀再腐蚀。主要应用在二值图像上。 目的:开操作可以平滑物体轮廓,断开狭窄的间断和消除细小的突出物。           闭操作可以消弭狭窄的间断,消除小的孔...
  • water_93
  • water_93
  • 2016年03月11日 22:15
  • 4555

图像处理之开操作详解

开操作概述: 图像处理中的开闭运算是两个非常重要的数学形态学操作,它们同时都继承自基本的腐蚀与 膨胀操作,这些操作一般都会应用在二值图像的分析与处理上。开操作有点像腐蚀操作,主 要是会remov...
  • jia20003
  • jia20003
  • 2012年07月01日 19:11
  • 10244

[学习opencv]图像腐蚀、膨胀、开闭操作

#include "cv.h" #include "highgui.h" using namespace cv; int main(int argc, char* argv[]) { ...
  • u010417185
  • u010417185
  • 2016年10月13日 09:49
  • 1050

Opencv--形态学图像处理--膨胀与腐蚀,开操作与闭操作

opencv 膨胀与腐蚀,开操作与闭操作
  • l740450789
  • l740450789
  • 2015年08月05日 12:00
  • 3102

使用Spring AOP使用注解记录用户操作日志

1.自定义注解,记录操作日志 1.自定义注解 package com.jay.demo3.aop1.myannotation; import java.lang.annotation.Docum...
  • he90227
  • he90227
  • 2015年03月10日 14:57
  • 12279

二值图像--形态学处理3 开操作和闭操作

学习DIP第13天 开篇废话     其实说实话,所谓开操作和闭操作就是把腐蚀和膨胀结合起来,先腐蚀后膨胀就是开,膨胀后腐蚀就是关,至于为什么是开为什么是关,我一开始也记不住,记得老师好像也没告诉我为...
  • TonyShengTan
  • TonyShengTan
  • 2014年12月26日 14:46
  • 6610
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:hdfs-shell操作
举报原因:
原因补充:

(最多只允许输入30个字)