HDFS的shell操作

最新推荐文章于 2024-05-11 17:09:39 发布
最新推荐文章于 2024-05-11 17:09:39 发布
阅读量1.4k 收藏 13
点赞数 1
文章标签： hdfs java hadoop
原文链接：http://t.csdn.cn/Wy90J
版权

学习目标：

  1. 熟悉HDFS Shell常用命令操作
  2. 掌握Shell定时采集数据到HDFS

学习内容：

 一、导入新课
上一节中，主要讲解了HDFS的架构和原理，使得学生更深入的了解HDFS的底层架构以及读写数据的原理，那我们该如何访问HDFS呢？HDFS提供了多种数据访问方式，而Shell命令行方式是最简单的，也是许多开发者最容易掌握的方式，本节将针对HDFS的Shell操作进行详细讲解。
二、新课讲解
（一）HDFS的Shell介绍
Shell在计算机科学中俗称“壳”，是提供给使用者使用界面的进行与系统交互的软件，通过接收用户输入的命令执行相应的操作，Shell分为图形界面Shell和命令行式Shell。
文件系统（FS）Shell包含了各种的类Shell的命令，可以直接与Hadoop分布式文件系统以及其他文件系统进行交互。

 （二）了解HDFS常用Shell命令

 1、三种shell命令方式

命令适用场合
hadoop fs适用于任何不同的文件系统，比如本地文件系统和HDFS文件系统
hadoop dfs只能适用于HDFS文件系统
hdfs dfshdfs dfs跟hadoop dfs的命令作用一样，也只能适用于HDFS文件系统

 2、FileSystem Shell文档

Apache Hadoop 3.3.4 – Overviewhttps://hadoop.apache.org/docs/r3.3.4/hadoop-project-dist/hadoop-common/FileSystemShell.html

 

 查看cat命令用法

 3、常用HDFS的shell命令

序号命令功能
1hdfs dfs -ls <path>显示<path>指定的文件或目录的详细信息。
2hdfs dfs -ls -R <path>ls命令的递归版本
3hdfs dfs -cat <path> 将<path>指定文件的内容输出到标准输出。
4hdfs dfs chgrp [-R] group <path>将<path>指定文件所属的组改为group，使用-R对<path>指定目录内的文件进行递归操作。这个命令只适合于超级用户。
5hdfs dfs -chown [-R] [owner][:[group]] <path>改变<path>指定文件或目录的拥有者，-R用于递归改变目录内的文件或目录的拥有者。 这个命令只适合于超级用户
6hdfs dfs -chmod [-R] <mode> <path>将<path>指定文件或目录的权限更改为<mode>。这个命令只适合于超级用户和文件或目录的拥有者
7hdfs dfs -tail [-f] <path> 将<path>指定文件最后1KB的内容输出到标准输出上，-f选项用于持续检测新添加到文件中的内容。
8hdfs dfs -stat [format] <path>以指定格式返回<path>指定文件的相关信息。当不指定format的时候，返回文件<path>的创建日期
9hdfs dfs -touchz <path>创建一个<path>指定的空文件
10hdfs dfs -mkdir [-p] <paths>创建<paths>指定的一个或多个目录，-p选项用于递归创建子目录。
11hdfs dfs -copyFromLocal <localsrc> <dst>将本地源文件<localsrc>复制到路径指定的文件或目录中。
12hadoo fs -copyToLocal [-ignorcrc] [-crc] <target> <localdst>将目标文件<target>复制到本地文件或目录<localdst>中，可用-ignorecrc选项复制CRC校验失败的文件，使用-crc选项复制文件以及CRC信息
13hdfs dfs -cp <src> <dst>将文件从源路径<src>复制到目标路径<dst>。
14hdfs dfs -du <path>显示<path>指定文件或目录内所有文件的大小。
15hdfs dfs -expunge清空回收站。
16hdfs dfs -get [-ignorcrc] [-crc] <src> <localdst>复制<src>指定的文件到本地文件系统<localdst>指定的文件或目录内，可用-ignorecrc选项复制CRC校验失败的文件，使用-crc选项复制文件以及CRC信息
17hdfs dfs -getmerge [-nl] <src> <localdst> 对<src>指定目录内所有文件进行合并，写入<localdst>指定的本地文件。-nl是可选的，用于指定在每个文件结尾添加一个换行符。
18hdfs dfs -put <localsrc> <dst>从本地文件系统中复制<localsrc>指定的单个或多个源文件到<dst>指定的目标文件系统中。
19hdfs dfs moveFromLocal <localsrc> <dst>与put命令功能相同，但是文件上传结束后会从本地文件系统中删除<localsrc>指定的文件
20hdfs dfs -mv <src> <dst>将文件或目录从源路径<src>移到目标路径<dst>。
21hdfs dfs -rm <path>hdfs dfs -rm <path>
22hdfs dfs -rm -r <path>删除<path>指定的目录及其下的所有文件，-r选项表示递归删除子目录
23hdfs dfs -setrep [-R] <path>改变<path>指定文件的副本数，-R选项用于递归改变目录下所有文件的副本数
24改变<path>指定文件的副本数，-R选项用于递归改变目录下所有文件的副本数检查<path>指定文件或目录的相关信息。
-e （exist）检查文件是否存在，如果存在则返回0，否则返回1
-z （zero）检查文件是否是零字节，如果是则返回0，否则返回1
-d（directory）检查路径是否是目录，如果是则返回0，否则返回1
25hdfs dfs -text <path>指定的文件输出为文本格式，文件格式允许是zip和TextRecordInputStream。

（三）HDFS常用命令操作实战

  • 启动Hadoop集群

 

1、创建目录

（1）创建单层目录

  • 执行命令：hdfs dfs -mkdir /ied

 

 利用Hadoop WebUI查看创建的目录

（2）创建多层目录

  • 执行命令：hdfs dfs -mkdir /luzhou/lzy，会报错，因为/luzhou目录不存在

执行命令：hdfs dfs -mkdir -p /luzhou/lzy

利用Hadoop WebUI查看创建的多层目录

 

 2、查看目录

执行命令：hdfs dfs -ls /，查看根目录（可以在任何节点上查看，结果都是一样的）

执行命令：hdfs dfs -ls /luzhou

 执行命令：hdfs dfs -ls -R /，递归查看/目录

3、上传本地文件到HDFS

创建test.txt文件，执行命令：echo "hello hadoop world" > test.txt

查看test.txt文件内容

上传test.txt文件到HDFS的/ied目录，执行命令：hdfs dfs -put test.txt /ied

查看是否上传成功

利用Hadoop WebUI界面查看

（2）创建多层目录

  • 执行命令：hdfs dfs -mkdir /luzhou/lzy，会报错，因为/luzhou目录不存在

执行命令：hdfs dfs -mkdir -p /luzhou/lzy

 利用Hadoop WebUI查看创建的多层目录

4、查看文件内容

  • 执行命令：hdfs dfs -cat /ied/test.txt

5、下载HDFS文件到本地 

 先删除本地的test.txt文件

 

 下载HDFS文件系统的/ied/test.txt到本地当前目录不改名，执行命令：hdfs dfs -get /ied/test.txt

 

 检查是否下载成功

 

  • 可以将HDFS上的文件下载到本地指定位置，并且可以更改文件名

执行命令：hdfs dfs -get /ied/test.txt /home/exam.txt

检查是否下载成功

6、删除HDFS文件

执行命令：hdfs dfs -rm /ied/test.txt

检查是否删除成功

使用通配符，可以删除满足一定特征的文件

7、删除HDFS目录

执行命令：hdfs dfs -rmdir /luzhou

  • 提示-rmdir命令删除不了非空目录。
  • 要递归删除才能删除非空目录：hdfs dfs -rm -r /luzhou（-r：recursive）

删除空目录/BigData，执行命令：hdfs dfs -rmdir /BigData

 

8、移动目录或文件

  • -mv命令兼有移动与改名的双重功能
  • 将/ied目录更名为/ied01，执行命令：hdfs dfs -mv /ied /ied01

 利用Hadoop WebUI查看是否更名成功

 将/ied01/exam.txt更名为/ied/test.txt，执行命令：hdfs dfs -mv /ied01/exam.txt /ied01/test.txt

查看改名后的test.txt文件内容

9、文件合并下载

  • 现在/ied01里有一个test.txt，创建sport.txt和music.txt并上传

合并/ied01目录的文件下载到本地当前目录的merger.txt，执行命令：hdfs dfs -getmerge /ied01/* merger.txt

下面，查看本地的merger.txt，看是不是三个文件合并后的内容

  • 由此可见，merger.txt是music.txt、sport.txt与test.txt合并后的结果

10、检查文件信息

  • 检查test.txt文件，执行命令：hdfs fsck /ied01/test.txt -files -blocks -locations -racks

  • 我们知道HDFS里一个文件块是128MB，上传一个大于128MB的文件，hadoop-3.3.4.tar.gz大约663.24MB

 执行命令：hdfs dfs -put /opt/hadoop-3.3.4.tar.gz /ied01，将hadoop压缩包上传到HDFS的/ied01目录

 查看HDFS上hadoop-3.3.4.tar.gz文件信息，执行命令：hdfs fsck /ied01/hadoop-3.3.4.tar.gz -files -locations -racks

 利用Hadoop WebUI来查看文件块信息更加方便，总共有6个文件块：Block0、Block1、Block2、Block3、Block4、Block5

 第1个文件块信息

 第6个文件块信息

 

 11、创建时间戳文件

 在/ied01目录里创建一个文件sunshine.txt，执行命令：hdfs dfs -touchz /ied01/sunshine.txt

 

 创建的是一个空文件，大小为0字节

 这种空文件，一般用作标识文件，也可叫做时间戳文件，再次在/ied01目录下创建sunshine.txt同名文件

  • 说明：如果touchz命令的路径指定的文件不存在，那就创建一个空文件；如果指定的文件存在，那就改变该文件的时间戳。

 12、复制文件或目录

 准备工作：创建/ied02目录

 

 （1）同名复制文件

 将/ied01/music.txt复制到/ied02里，执行命令：hdfs dfs -cp /ied01/music.txt /ied02

 

 查看拷贝生成的文件

 （2）改名复制文件

 

 查看拷贝后的文件内容

 

（3）复制目录

将/ied01目录复制到/ied03目录，执行命令：hdfs dfs -cp /ied01 /ied03

查看拷贝后的目录

 13、查看文件大小

  • 执行命令：hdfs dfs -du /ied01/test.txt

  • 可以看到文件/ied01/test.txt大小是19个字符，包含一个看不见的结束符

14、上传文件

-copyFromLocal类似于-put，执行命令：hdfs dfs -copyFromLocal merger.txt /ied02

 查看是否上传成功

 15、下载文件

-copyToLocal类似于-get，执行命令：hdfs dfs -copyToLocal /ied01/sunshine.txt sunlight.txt

 查看是否下载成功

 16、查看某目录下文件个数

执行命令：hdfs dfs -count /ied01

 17、检查hadoop本地库

执行命令：hdfs checknative -a

 查看hadoop本地库文件

18、进入和退出安全模式

问题：哪些情况下HDFS会进入安全模式（只能读不能写）？
（1）名称起点启动时，进入安全模式，直到fsimage用edits更新完毕才退出安全模式
（2）当文件块的副本数量少于设置的副本数量，会进入安全模式，直到生成符合要求的副本数，   才会退出安全模式。其实，也可以通过命令方式进入或退出安全模式。


（1）进入安全模式

 执行命令：hdfs dfsadmin -safemode enter, 注意：进入安全模式之后，只能读不能写

 

 此时，如果要创建目录，就会报错

 

 （2）退出安全模式

 执行命令：hdfs dfsadmin -safemode leave

 

 此时，创建目录/ied04就没有任何问题

 （四）案例- Shell定时采集数据到HDFS

 服务器每天会产生大量日志数据，并且日志文件可能存在于每个应用程序指定的data目录中，在不使用其它工具的情况下，将服务器中的日志文件规范的存放在HDFS中。通过编写简单的Shell脚本，用于每天自动采集服务器上的日志文件，并将海量的日志上传至HDFS中。


创建日志文件存放的目录/export/data/logs/log/，执行命令：mkdir -p /export/data/logs/log

 创建待上传文件存放的目录/export/data/logs/toupload/，执行命令：mkdir -p /export/data/logs/toupload/

 查看创建的目录树结构

 1、编程思路与步骤

 （1）配置环境变量
首先在/export/data/logs目录下（如果目录不存在，则需要提前创建）使用vim命令创建upload2HDFS.sh脚本文件，在编写Shell脚本时，需要设置Java环境变量和Hadoop环境变量，这样做是用来提高系统的可靠性，保障运行程序的机器在没有配置环境变量的情况下依然能够运行脚本。

（2）准备日志存放目录和待上传文件

  • 为了让开发者便于控制上传文件的流程，可以在脚本中设置一个日志存放目录和待上传文件目录，若上传过程中发生错误只需要查看该目录就能知道文件的上传进度。

 （3）设置日志文件上传的路径

  • 设置上传的HDFS目标路径，命名格式以时间结尾，并且输出打印信息。

 （4）实现文件上传

  • 上传文件的过程就是遍历文件目录的过程，将文件首先移动到待上传目录，再从待上传目录中上传到HDFS中。若是在每天12点凌晨执行一次，我们可以使用Linux Crontab表达式执行定时任务。

 2、编写脚本，实现功能

 进入/export/data/logs目录

 

 执行命令：vim upload2HDFS.sh

 

#!/bin/bash

JAVA_HOME=/usr/local/jdk1.8.0_162
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH
export HADOOP_HOME=/usr/local/hadoop-3.3.4/
export PATH=${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin:$PATH
#日志文件存放的目录，需手动创建
log_src_dir=/export/data/logs/log/
#待上传文件存放的目录，需手动创建
log_toupload_dir=/export/data/logs/toupload/
#设置日期
date1=`date -d last-day +%Y_%m_%d`
#日志文件上传到hdfs的根路径
hdfs_root_dir=/data/clickLog/$date1/
#打印环境变量信息
echo "envs: hadoop_home: $HADOOP_HOME"
#读取日志文件的目录，判断是否有需要上传的文件
echo "log_src_dir: $log_src_dir"
ls $log_src_dir | while read fileName
do
        if [[ "$fileName" == access.log.* ]]; then
                date=`date +%Y_%m_%d_%H_%M_%S`
                #将文件移动到待上传目录并重命名
                echo "moving $log_src_dir$fileName to $log_toupload_dir"lzy_click_log_$fileName"$date"
                mv $log_src_dir$fileName $log_toupload_dir"lzy_click_log_$fileName"$date
                #将待上传的文件path写入一个列表文件willDoing，
                echo $log_toupload_dir"lzy_click_log_$fileName"$date >> $log_toupload_dir"willDoing."$date
        fi
done
#找到列表文件willDoing
ls $log_toupload_dir | grep will | grep -v "_COPY_" | grep -v "_DONE_" | while read line
do
        #打印信息
        echo "toupload is in file: $line"
        #将待上传文件列表willDoing改名为willDoing_COPY_
        mv $log_toupload_dir$line $log_toupload_dir$line"_COPY_"
        #读列表文件willDoing_COPY_的内容（一个一个的待上传文件名）
        #此处的line 就是列表中的一个待上传文件的path
        cat $log_toupload_dir$line"_COPY_" | while read line
        do
                 #打印信息
                echo "puting...$line to hdfs path...$hdfs_root_dir"
                hdfs dfs -mkdir -p $hdfs_root_dir
                hdfs dfs -put $line $hdfs_root_dir
        done
        mv $log_toupload_dir$line"_COPY_"  $log_toupload_dir$line"_DONE_"
done

 编辑权限，执行命令：chmod u+x upload2HDFS.sh

 

3、运行脚本，查看结果

  • 为了模拟生产环境，在日志存放目录/export/data/logs/log/中，手动创建日志文件，access.log表示正在源源不断的产生日志的文件，access.log.1、access.log.2等表示已经滚动完毕的日志文件，即为待上传日志文件
  • 在upload2HDFS.sh文件路径下运行脚本，先将日志存放目录log中的日志文件移到待上传toupload目录下，并根据业务需求重命名；然后脚本执行“hdfs dfs -put”上传命令，将待上传目录下的所有日志文件上传至HDFS；最后通过HDFS Web界面可看到需要采集的日志文件已按照日期分类，上传至HDFS中。
     
  •  创建四个日志

 

  •  执行命令：./upload2HDFS.sh

  1.  打开HDFS集群WebUI查看上传的日志文件

点击data

 

 

目录

学习目标：

学习内容：

（三）HDFS常用命令操作实战

1、创建目录

3、上传本地文件到HDFS

4、查看文件内容

​编辑

6、删除HDFS文件

7、删除HDFS目录

8、移动目录或文件

9、文件合并下载

10、检查文件信息

14、上传文件

18、进入和退出安全模式

3、运行脚本，查看结果

 注：因为创了很多次，所以有多个

 

m0_73693938
关注
  • 1
    点赞
  • 踩
  • 13
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
HDFS的Shell操作
淡淡的倔强的博客
05-28 1869
记载下HDFS的shell操作命令 一、常用命令实操 （0）启动Hadoop集群（方便后续的测试） start-dfs.sh start-yarn.sh （1）-help：输出这个命令参数 hadoop fs -help rm （2）-ls: 显示目录信息 hadoop fs -ls / （3）-mkdir：在hdfs上创建目录 hadoop fs -mkdir -p...
hdfs shell操作
m0_72168501的博客
11-23 5750
hdfs 的shell 操作
HDFS的Shell操作操作
shield911的博客
11-06 1792
HDFS的Shell操作命令详解
【大数据·hadoop】在hdfs上运行shell基本常用命令
最新发布
Yaoyao2024的博客
05-11 1750
在Hadoop生态系统中，supergroup 是一个默认的用户组，通常与HDFS的超级用户（即 Hadoop 的管理员账户，类似于 Unix 系统中的 root 用户）关联。超级用户和属于 supergroup 组的用户通常有着对HDFS上所有文件和目录的全权限，这包括读取、写入和执行权限。
Hadoop框架---HDFS的Shell命令操作
丷江南南的博客
04-27 1958
其有很多命令，但在生产环境中我们经常使用的命令并没有那么多，因此需要时再回头查阅上图中的命令即可。put命令和copyFromLocal命令有着相同的复制效果，所以我们。这里我们把3台服务器各自对应的节点都打开了，为了方便后续测试。在使用shell命令前，一定要确保我们的Hadoop。自由选择以上任意一种语法格式。跳转到Web端的HDFS，处于。
大数据：HDFS的Shell常用命令操作
梁辰兴的博客
11-26 5133
HDFS允许用户数据组织成文件和文件夹的方式，它提供一个叫DFSShell的接口，使用户可以和HDFS中的数据交互。命令集的语法跟其他用户熟悉的shells（bash,csh）相似。Shell在计算机科学中俗称“壳”，是提供给使用者使用界面的进行与系统交互的软件，通过接收用户输入的命令执行相应的操作，Shell分为图形界面Shell和命令行式Shell。文件系统（FS）Shell包含了各种的类Shell的命令，可以直接与Hadoop分布式文件系统以及其他文件系统进行交互。三种Shell命令方式命令。
HDFS 的 shell操作
wish_you_luck的博客
11-20 1675
HDFS的shell操作很多跟linux的shell语法是比较相近，可以很快的学会，本文使用案例，一边演示，一边来学习命令。
实验二、HDFS shell操作及HDFS Java API编程
04-10
适合刚接触hadoop的学生或小白，内容包括HDFS shell操作及HDFS Java API编程 有图片有代码
第二章 HDFS的Shell操作.pptx
08-10
HDFS的Shell操作，bin/hadoop fs 具体命令 OR bin/hdfs dfs 具体命令 dfs是fs的实现类等等。
Hadoop之HDFS的shell操作
01-07
HDFS的java客户端操作：https://blog.csdn.net/weixin_45102492/article/details/104378020 Hadoop之HDFS的数据流：https://blog.csdn.net/weixin_45102492/article/details/104384789 NameNode和SecondaryNameNode...
Hadoop框架之HDFS的shell操作
05-20
一旦确认Hadoop服务运行正常，就可以开始进行HDFS的shell操作了。 **ls**：此命令用于查看指定路径的当前目录结构，与Linux中的`ls`命令类似。例如，`hadoop fs -ls /`将显示HDFS的根目录内容。如果未指定路径，它...
2、HDFS操作 - shell客户端
05-29
本文将深入探讨HDFS的shell操作，包括基本的语法格式和具体命令示例。 一、语法格式 HDFS Shell客户端的命令语法与传统的Linux shell命令类似，如`ls`, `mkdir`, 和 `rm`。这些命令用于在HDFS上执行文件和目录的...
Hadoop实例学习(十二)HDFS的常用shell操作
秘密的博客
05-05 3288
hdfs常用操作
Hadoop大数据-HDFS的Shell操作
晴风拂面，消融严寒
03-25 1067
上一节，讲解了HDFS的原理，以及相关的hadoop系统安装文档，参考文档可以轻松的搭建好，Hadoop伪分布式集群环境，这一节主要讲解一下如何操作HDFS，及HDFS文件的存储方式。本章对HDFS的常见操作方法做了简单介绍，掌握需要结合实际操作过程，实验操作手册请在下载专区下载。
HDFS的shell命令简介
Laity
05-13 6004
一、HDFS的shell命令简介 ​ 我们都知道HDFS 是存取数据的分布式文件系统，那么对HDFS 的操作，就是文件系统的基本操作，比如文件的创建、修改、删除、修改权限等，文件夹的创建、删除、重命名等。对HDFS 的操作命令类似于lLinux 的shell 对文件的操作，如ls、mkdir、rm 等。 我们在执行HDFS的shell操作的时候，一定要确定hadoop 是正常运行的，我们可以使用使用jps 命令确保看到各个hadoop 进程。 我们可以执行命令hadoop fs，来查看HDFS
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值