Hadoop-04 HDFS的SHELL操作

最新推荐文章于 2024-07-12 16:01:56 发布

起名真的费脑子

最新推荐文章于 2024-07-12 16:01:56 发布

阅读量139

点赞数

分类专栏： Hadoop 文章标签： hadoop hdfs linux 大数据

本文链接：https://blog.csdn.net/Felix_49/article/details/106807158

版权

Hadoop 专栏收录该内容

12 篇文章 0 订阅

订阅专栏

常用命令：
-ls：查询指定路径信息

-get：下载

-put：上传

-mkdir [-p]：创建文件夹

-cat：查看hdfs文件内容

-rm [-r]：删除文件/文件夹

标准命令格式：在Hadoop文件下

bin/hdfs dfs -xxx hdfs://hadoop01:9000/

举个栗子：bin/hdfs dfs -put file.txt hdfs://hadoop01:9000/ （上传文件）

简化：bin/hdfs dfs -xxx / #此时的/代表hdfs下的根目录

举个栗子：bin/hdfs dfs -put file.txt / (上传至根目录下)

直接使用hdfs的方式(配置路径的通用方式)

修改/etc/profile文件

export HADOOP_HOOM = /xxx/xxx/hadoop 2.7.5

在‘export PATH=‘中添加一项' :$HADOOP_HOOM/bin'

保存修改后刷新配置文件'source profiles'

完成后即可直接使用hdfs命令

举个栗子：
hdfs dfs -ls / hdfs dfs -cat /file.txt

实践

#在根目录下创建一个文件夹new
[root@hadoop01 ~]# hdfs dfs -mkdir /new
[root@hadoop01 ~]# hdfs dfs -ls /   
Found 2 items
drwxr-xr-x   - root supergroup          0 2020-06-10 01:35 /new
drwx------   - root supergroup          0 2019-03-29 11:02 /tmp

#上传本地的文件file.txt
[root@hadoop01 hadoop-2.7.5]# hdfs dfs -put file.txt / 
[root@hadoop01 hadoop-2.7.5]# hdfs dfs -ls /             
Found 3 items
-rw-r--r--   1 root supergroup         16 2020-06-18 09:12 /file.txt
drwxr-xr-x   - root supergroup          0 2020-06-10 01:35 /new
drwx------   - root supergroup          0 2019-03-29 11:02 /tmp

#查看刚才上传的文件file.txt
[root@hadoop01 hadoop-2.7.5]# hdfs dfs -cat /file.txt
hello 
hello

#删除刚才上传的文件file.txt
[root@hadoop01 hadoop-2.7.5]# hdfs dfs -rm /file.txt
20/06/10 01:39:25 INFO fs.TrashPolicyDefault: Namenode trash configuration: Deletion interval = 0 minutes, Emptier interval = 0 minutes.
Deleted /file.txt
[root@hadoop01 hadoop-2.7.5]# hdfs dfs -ls /
Found 2 items
drwxr-xr-x   - root supergroup          0 2020-06-10 01:35 /new
drwx------   - root supergroup          0 2019-03-29 11:02 /tmp

#删除文件夹/new
[root@hadoop01 hadoop-2.7.5]# hdfs dfs -rm -r /new
20/06/18 09:21:46 INFO fs.TrashPolicyDefault: Namenode trash configuration: Deletion interval = 0 minutes, Emptier interval = 0 minutes.
Deleted /new
[root@hadoop01 hadoop-2.7.5]# hdfs dfs -ls /
Found 1 items
drwx------   - root supergroup          0 2019-03-29 11:02 /tmp


上传文件时指定分块的大小
[root@hadoop01 ~]# [root@hadoop01 ~]# hdfs dfs -D dfs.blocksize=1048576 -put test.txt /user/root

下载hdfs上的hello.txt文件到当前目录
[root@hadoop01 ~]# hdfs dfs -get /hello.txt .
[root@hadoop01 ~]# ls
hello.txt