hdfs-shell操作

原创 2015年11月19日 23:29:03

查看hdfs文件系统指定路径的文件:

[root@zwt1 ~]# hdfs dfs -ls /

Found 4 items

drwxr-xr-x  - root supergroup          02015-11-05 03:31 /data

drwxr-xr-x  - root supergroup          02015-11-05 03:32 /output

drwxrwx---  - root supergroup          02015-11-05 07:51 /tmp

drwxr-xr-x  - root supergroup          02015-11-06 23:59 /usr

 

在hdfs文件系统中创建文件夹

[root@zwt1 ~]# hdfs dfs -mkdir /data/mydata

[root@zwt1 ~]# gedit test.txt

[root@zwt1 ~]# hdfs dfs -put test.txt/data/mydata   //将本地文件上传到hdfs文件系统中

 

[root@zwt1 ~]# hdfs dfs -dus/data/mydata/test.txt  //查看文件大小

dus: DEPRECATED: Please use 'du -s'instead.

73 /data/mydata/test.txt

 

[root@zwt1 ~]# hdfs dfs -du /data/mydata   //查看文件夹中文件大小

73 /data/mydata/test.txt

 

[root@zwt1 ~]# hdfs dfs -cp/data/mydata/test.txt /usr/    //从源位置复制到指定位置

 

[root@zwt1 ~]# hdfs dfs -copyFromLocaltest.txt /tmp  //将本地文件上传到hdfs文件系统,相当于put

 

[root@zwt1 ~]# mkdir data

[root@zwt1 ~]# cd data

[root@zwt1 data]# hdfs dfs -copyToLocal/tmp/test.txt   //将hdfs文件系统的文件复制到本地,相当于get

 

[root@zwt1 data]# ls

test.txt

[root@zwt1 data]# rm test.txt

rm: remove regular file `test.txt'? y

[root@zwt1 data]# ls

[root@zwt1 data]# hdfs dfs -get/tmp/test.txt  //将hdfs文件系统的文件复制到本地

[root@zwt1 data]# ls

test.txt

[root@zwt1 data]# cat test.txt

hello world

hello hadoop

spark scala

centos linux

hello linux

bye hadoop

[root@zwt1 data]# ls

test.txt

[root@zwt1 data]# hdfs dfs -put test.txt/output

[root@zwt1 data]# hdfs dfs -ls /output

Found 1 items

-rw-r--r--  2 root supergroup         732015-11-09 04:37 /output/test.txt

[root@zwt1 data]# hdfs dfs -touchz/tmp/mydata.txt  //创建一个空文件

[root@zwt1 data]# hdfs dfs -ls /tmp

Found 4 items

drwxrwx---  - root supergroup          02015-11-05 03:26 /tmp/hadoop-yarn

drwx-wx-wx  - root supergroup          02015-11-05 07:51 /tmp/hive

-rw-r--r--  2 root supergroup          02015-11-09 04:38 /tmp/mydata.txt

-rw-r--r--  2 root supergroup         732015-11-09 04:34 /tmp/test.txt

 

[root@zwt1 data]# hdfs dfs -tail/tmp/test.txt  //返回文件系统中指定文件1kb大小的内容

hello world

hello hadoop

spark scala

centos linux

hello linux

bye hadoop

 

[root@zwt1 data]# hdfs dfs -ls /output

Found 1 items

-rw-r--r--  2 root supergroup         732015-11-09 04:37 /output/test.txt

[root@zwt1 data]# hdfs dfs -rm/output/test.txt   //删除文件

15/11/09 04:48:06 INFOfs.TrashPolicyDefault: Namenode trash configuration: Deletion interval = 0minutes, Emptier interval = 0 minutes.

Deleted /output/test.txt

[root@zwt1 data]# hdfs dfs -mv/tmp/test.txt /output/  //在hsdfs文件系统中移动文件

[root@zwt1 data]# hdfs dfs -ls /tmp

Found 3 items

drwxrwx---  - root supergroup          02015-11-05 03:26 /tmp/hadoop-yarn

drwx-wx-wx  - root supergroup          02015-11-05 07:51 /tmp/hive

-rw-r--r--  2 root supergroup          02015-11-09 04:38 /tmp/mydata.txt

[root@zwt1 data]# hdfs dfs -ls /output

Found 1 items

-rw-r--r--  2 root supergroup         732015-11-09 04:34 /output/test.txt

[root@zwt1 data]# hdfs dfs -cat/output/test.txt  //查看文本文件内容

hello world

hello hadoop

spark scala

centos linux

hello linux

bye hadoop

[root@zwt1 data]# ls

test.txt

[root@zwt1 data]# rm test.txt

rm: remove regular file `test.txt'? y

[root@zwt1 data]# ls

[root@zwt1 data]# vim data.txt

[root@zwt1 data]# hdfs dfs -text/output/data.txt //查看文本文件内容

hadoop

linux

spark

scala

hive

hbase

zookeeper

sqoop

[root@zwt1 data]# hdfs dfs -moveFromLocaldata.txt /output  //从本地剪切到hdfs文件系统中

[root@zwt1 data]# hdfs dfs -ls /output

Found 2 items

-rw-r--r--  2 root supergroup         52 2015-11-09 04:53 /output/data.txt

-rw-r--r--  2 root supergroup         732015-11-09 04:34 /output/test.txt

[root@zwt1 data]#

版权声明:本文为博主原创文章,未经博主允许不得转载。

相关文章推荐

Hadoop框架之HDFS的shell操作

  • 2015年12月08日 09:46
  • 752KB
  • 下载

HDFS的shell(命令行客户端)操作

命令行客户端支持的命令参数 [-appendToFile ... ] [-cat [-ignoreCrc] ...] [-checksum ...] ...

HDFS Shell 操作

HDFS是存取数据的分布式文件系统,那么对HDFS的操作,就是对文件系统的基本操作,即文件及文件夹的增删改查、权限修改,HDFS提供了一套自己的shell命令来进行操作,类似于我们linux系统中的s...

_00002 Hadoop HDFS体系结构及shell、java操作方式

# hadoop是适合大数据的分布式存储和计算的平台 # hadoop核心组成由hdfs和mapreduce组成 # hdfs是主从式结构,主节点只有一个,是namenode:从节点有很多个 #...

hadoop学习笔记1.使用shell和JAVA API操作HDFS

我们接着上一节来,上次我们已经把伪分布式环境搭建好了。 OK,我们先来测试一下 ,跑跑自带的例子wordcount 1.运行wordcount测试MapReduce admi...

hadoop之hdfs的shell命令操作

FS Shell 调用文件系统(FS)Shell命令应使用 bin/hadoop fs 的形式。 所有的的FS shell命令使用URI路径作为参数。URI格式是scheme://authorit...

Azkaban实战,Command类型单一job示例,任务中执行外部shell脚本,Command类型多job工作flow,HDFS操作任务,MapReduce任务,HIVE任务

1.Azkaban实战Azkaba内置的任务类型支持command、javaCommand类型单一job示例1、创建job描述文件vi command.job #command.job type=co...

Hadoop开发第1期---HDFS 的shell操作

Hadoop开发第期---HDFS 的shell操作 一、HDFS的shell命令简介 我们都知道HDFS 是存取数据的分布式文件系统,那么对HDFS 的操作,就是文件系统的基...

Hadoop中HDFS文件系统下的Shell操作

执行start-all.sh启动Hadoop,启动完成可以看到

HDFS体系结构及shell操作

shell hdfs
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:hdfs-shell操作
举报原因:
原因补充:

(最多只允许输入30个字)