hdfs-shell操作

原创 2015年11月19日 23:29:03

查看hdfs文件系统指定路径的文件:

[root@zwt1 ~]# hdfs dfs -ls /

Found 4 items

drwxr-xr-x  - root supergroup          02015-11-05 03:31 /data

drwxr-xr-x  - root supergroup          02015-11-05 03:32 /output

drwxrwx---  - root supergroup          02015-11-05 07:51 /tmp

drwxr-xr-x  - root supergroup          02015-11-06 23:59 /usr

 

在hdfs文件系统中创建文件夹

[root@zwt1 ~]# hdfs dfs -mkdir /data/mydata

[root@zwt1 ~]# gedit test.txt

[root@zwt1 ~]# hdfs dfs -put test.txt/data/mydata   //将本地文件上传到hdfs文件系统中

 

[root@zwt1 ~]# hdfs dfs -dus/data/mydata/test.txt  //查看文件大小

dus: DEPRECATED: Please use 'du -s'instead.

73 /data/mydata/test.txt

 

[root@zwt1 ~]# hdfs dfs -du /data/mydata   //查看文件夹中文件大小

73 /data/mydata/test.txt

 

[root@zwt1 ~]# hdfs dfs -cp/data/mydata/test.txt /usr/    //从源位置复制到指定位置

 

[root@zwt1 ~]# hdfs dfs -copyFromLocaltest.txt /tmp  //将本地文件上传到hdfs文件系统,相当于put

 

[root@zwt1 ~]# mkdir data

[root@zwt1 ~]# cd data

[root@zwt1 data]# hdfs dfs -copyToLocal/tmp/test.txt   //将hdfs文件系统的文件复制到本地,相当于get

 

[root@zwt1 data]# ls

test.txt

[root@zwt1 data]# rm test.txt

rm: remove regular file `test.txt'? y

[root@zwt1 data]# ls

[root@zwt1 data]# hdfs dfs -get/tmp/test.txt  //将hdfs文件系统的文件复制到本地

[root@zwt1 data]# ls

test.txt

[root@zwt1 data]# cat test.txt

hello world

hello hadoop

spark scala

centos linux

hello linux

bye hadoop

[root@zwt1 data]# ls

test.txt

[root@zwt1 data]# hdfs dfs -put test.txt/output

[root@zwt1 data]# hdfs dfs -ls /output

Found 1 items

-rw-r--r--  2 root supergroup         732015-11-09 04:37 /output/test.txt

[root@zwt1 data]# hdfs dfs -touchz/tmp/mydata.txt  //创建一个空文件

[root@zwt1 data]# hdfs dfs -ls /tmp

Found 4 items

drwxrwx---  - root supergroup          02015-11-05 03:26 /tmp/hadoop-yarn

drwx-wx-wx  - root supergroup          02015-11-05 07:51 /tmp/hive

-rw-r--r--  2 root supergroup          02015-11-09 04:38 /tmp/mydata.txt

-rw-r--r--  2 root supergroup         732015-11-09 04:34 /tmp/test.txt

 

[root@zwt1 data]# hdfs dfs -tail/tmp/test.txt  //返回文件系统中指定文件1kb大小的内容

hello world

hello hadoop

spark scala

centos linux

hello linux

bye hadoop

 

[root@zwt1 data]# hdfs dfs -ls /output

Found 1 items

-rw-r--r--  2 root supergroup         732015-11-09 04:37 /output/test.txt

[root@zwt1 data]# hdfs dfs -rm/output/test.txt   //删除文件

15/11/09 04:48:06 INFOfs.TrashPolicyDefault: Namenode trash configuration: Deletion interval = 0minutes, Emptier interval = 0 minutes.

Deleted /output/test.txt

[root@zwt1 data]# hdfs dfs -mv/tmp/test.txt /output/  //在hsdfs文件系统中移动文件

[root@zwt1 data]# hdfs dfs -ls /tmp

Found 3 items

drwxrwx---  - root supergroup          02015-11-05 03:26 /tmp/hadoop-yarn

drwx-wx-wx  - root supergroup          02015-11-05 07:51 /tmp/hive

-rw-r--r--  2 root supergroup          02015-11-09 04:38 /tmp/mydata.txt

[root@zwt1 data]# hdfs dfs -ls /output

Found 1 items

-rw-r--r--  2 root supergroup         732015-11-09 04:34 /output/test.txt

[root@zwt1 data]# hdfs dfs -cat/output/test.txt  //查看文本文件内容

hello world

hello hadoop

spark scala

centos linux

hello linux

bye hadoop

[root@zwt1 data]# ls

test.txt

[root@zwt1 data]# rm test.txt

rm: remove regular file `test.txt'? y

[root@zwt1 data]# ls

[root@zwt1 data]# vim data.txt

[root@zwt1 data]# hdfs dfs -text/output/data.txt //查看文本文件内容

hadoop

linux

spark

scala

hive

hbase

zookeeper

sqoop

[root@zwt1 data]# hdfs dfs -moveFromLocaldata.txt /output  //从本地剪切到hdfs文件系统中

[root@zwt1 data]# hdfs dfs -ls /output

Found 2 items

-rw-r--r--  2 root supergroup         52 2015-11-09 04:53 /output/data.txt

-rw-r--r--  2 root supergroup         732015-11-09 04:34 /output/test.txt

[root@zwt1 data]#

版权声明:本文为博主原创文章,未经博主允许不得转载。 举报

相关文章推荐

hdfs-shell操作

查看hdfs文件系统指定路径的文件: [root@zwt1 ~]# hdfs dfs -ls / Found 4 items drwxr-xr-x  - root supergroup     ...

HDFS Shell 操作

HDFS是存取数据的分布式文件系统,那么对HDFS的操作,就是对文件系统的基本操作,即文件及文件夹的增删改查、权限修改,HDFS提供了一套自己的shell命令来进行操作,类似于我们linux系统中的s...

精选:深入理解 Docker 内部原理及网络配置

网络绝对是任何系统的核心,对于容器而言也是如此。Docker 作为目前最火的轻量级容器技术,有很多令人称道的功能,如 Docker 的镜像管理。然而,Docker的网络一直以来都比较薄弱,所以我们有必要深入了解Docker的网络知识,以满足更高的网络需求。

HDFS SHELL 操作

hadoop fs 后接 -ls 表示对hdfs的目录查看 -lsr 表示对目录的递归查看 -mkdir     创建文件夹 如果mkdir创建失败  显示如下错误 表明...

Hdfs shell命令操作

本篇博客介绍Hadoop的HDFS客户端的基本shell命令查看文件列表hadoop fs -ls /上传文件hadoop fs -put /root/GitHubLog.txt /然后再用ls来查看...
  • mrbcy
  • mrbcy
  • 2017-02-18 13:33
  • 85

HDFS的基本shell操作

(1)分布式文件系统 随着数据量越来越多,在一个操作系统管辖的范围存不下了,那么就分配到更多的操作系统管理的磁盘中,但是不方便管理和维护,因此迫切需要一种系统来管理多台机器上的文件,这就是分布式...

HDFS的Shell基本操作

HDFS的概述 HDFS是Hadoop的分布式文件系统,提供海量数据的存储。 HDFS包括NameNode和DataNode。 1.1 NameNode负责管理工作 本身含有很多元数据信息,存...

【Hadoop】HDFS笔记(三):HDFS的Shell操作

HDFS处理文件的命令和Linux命令差不多,但注意区分大小写。 (Linux区分大小写,Windows不区分大小写)   一、fs命令 键入命令“./bin/hadoop fs”将输出能够支...

HDFS-2.hdfs shell操作help文档

Usage: hadoop fs [generic options]         [-appendToFile ... ]         [-cat...

Hadoop读书笔记(二)HDFS的shell操作

Hadoop读书笔记(二)HDFS的shell操作

大数据学习篇:hadoop深入浅出系列之HDFS(四)——shell操作

上一篇我们讲了HDFS的读文件和写文件,今天我们来讲HDFS的shell操作。 首先,我们进入到hadoop文件夹下,然后输入bin/hdfs命令,我们能发现有很多提示信息,Usage: hdfs [...
返回顶部
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)