分布式文件系统HDFS Shell命令和API编程
- Hadoop分布式文件系统(Hadoop Distributed File System,HDFS)是Hadoop核心组件之一,如果已经安装了Hadoop,其中就已经包含了HDFS组件,不需要另外安装。
- 利用Shell命令与HDFS进行交互
Hadoop支持很多Shell命令,其中fs是HDFS最常用的命令,利用fs可以查看HDFS文件系统的目录结构、上传和下载数据、创建文件等。
注意:
命令是以”./bin/hadoop dfs”开头的Shell命令方式,实际上有三种shell命令方式。
- hadoop fs
- hadoop dfs(已过期)
- hdfs dfs(常用)
hadoop fs:适用于任何不同的文件系统,比如本地文件系统和HDFS文件系统
hadoop dfs:只能适用于HDFS文件系统
hdfs dfs:跟hadoop dfs的命令作用一样,也只能适用于HDFS文件系统
实验内容与步骤(jdk版本不同,实验内容可能不同,我这里是jdk1.8.0_181和hadoop-3.1.1):
1. 配置hadoop的环境变量:
首先,hadoop shell命令在/bigdata/hadoop-3.1.1/bin目录下,编辑/etc/profile配置文件,增加如下内容:
终端命令:sudo vi /etc/profile
export HADOOP_HOME=/bigdata/hadoop-3.1.1
export JAVA_HOME=/opt/java/jdk1.8.0_181
export PATH=.:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
上面三句顺序不能改变。
重新读取:
终端命令:source /etc/profile
2. 命令查看方式:
我们可以在终端输入如下命令,查看dfs总共支持了哪些命令:
终端命令:hdfs dfs
在终端输入如下命令,可以查看具体某个命令的作用
例如:我们查看put命令如何使用,可以输入如下命令:
终端命令:hdfs dfs -help put
3. 目录操作
需要注意的是,Hadoop系统安装好以后,第一次使用HDFS时,需要首先在HDFS中创建用户目录。本实验全部采用hadoop用户登录Linux系统,因此,需要在HDFS中为hadoop用户创建一个用户目录,命令如下:
终端命令:hdfs dfs -mkdir -p /user/hadoop
该命令中表示在HDFS中创建一个“/user/hadoop”目录,“–mkdir”是创建目录的操作,“-p”表示如果是多级目录,则父目录和子目录一起创建,这里“/user/hadoop”就是一个多级目录,因此必须使用参数“-p”,否则会出错。
“/user/hadoop”目录就成为hadoop用户对应的用户目录,可以使用如下命令显示HDFS中与当前用户hadoop对应的用户目录下的内容:
终端命令:hdfs dfs -ls
下面,可以使用如下命令创建一个input目录:
终端命令:hdfs dfs -mkdir input
在创建个input目录时,采用了相对路径形式,实际上,这个input目录创建成功以后,它在HDFS中的完整路径是“/user/hadoop/input”。如果要在HDFS的根目录下创建一个名称为input的目录,则需要使用如下命令:
终端命令: hdfs dfs -mkdir /input
可以使用rm命令删除一个目录,比如,可以使用如下命令删除刚才在HDFS中创建的“/input”目录(不是“/user/hadoop/input”目录):
终端命令:hdfs dfs -rm -r /input
上面命令中,“-r”参数表示如果删除“/input”目录及其子目录下的所有内容,如果要删除的一个目录包含了子目录,则必须使用“-r”参数,否则会执行失败。
4. 文件操作
在实际应用中,经常需要从本地文件系统向HDFS中上传文件,或者把HDFS中的文件下载到本地文件系统中。
首先,使用vim编辑器,在本地Linux文件系统的“/home/hadoop/”目录下创建一个文件myLocalFile.txt
终端命令:
cd /home/hadoop
vim myLocalFile.txt
里面可以随意输入一些单词,比如,输入如下三行:
Hadoop
Spark
www.sise.edu.cn
然后,可以使用如下命令把本地文件系统的“/home/hadoop/myLocalFile.txt”上传到HDFS中的当前用户目录的input目录下,也就是上传到HDFS的“/user/hadoop/input/”目录下
终端命令:hdfs dfs -put /home/hadoop/myLocalFile.txt input
可以使用ls命令查看一下文件是否成功上传到HDFS中,具体如下:
终端命令: hdfs dfs -ls input
下面使用如下命令查看HDFS中的myLocalFile.txt这个文件的内容:
终端命令:hdfs dfs -cat input/myLocalFile.txt
下面把HDFS中的myLocalFile.txt文件下载到本地文件系统中的“/home/hadoop/Downloads/”这个目录下,命令如下:
终端命令:hdfs dfs -get input/myLocalFile.txt /home/hadoop/Downloads
可以使用如下命令,到本地文件系统查看下载下来的文件myLocalFile.txt:
终端命令:
cd Downloads/
ls
cat myLocalFile.txt
最后,了解一下如何把文件从HDFS中的一个目录拷贝到HDFS中的另外一个目录。比如,如果要把HDFS的“/user/hadoop/input/myLocalFile.txt”文件,拷贝到HDFS的另外一个目录“/input”中(注意,这个input目录位于HDFS根目录下),可以使用如下命令:
终端命令:hdfs dfs -cp input/myLocalFile.txt /input
5. 利用Web界面管理HDFS
打开Linux自带的Firefox浏览器,点击此链接HDFS的Web界面,即可看到HDFS的web管理界面,访问地址:localhost:50070
6. 利用Java API与HDFS进行交互
Hadoop不同的文件系统之间通过调用Java API进行交互,上面介绍的Shell命令,本质上就是Java API的应用。下面提供了Hadoop官方的Hadoop API文档,想要深入学习Hadoop,可以访问如下网站,查看各个API的功能。
http://hadoop.apache.org/docs/stable/api/
利用Java API进行交互,需要利用软件Eclipse编写Java程序。
- 在Ubuntu中安装Eclipse,大数据实验准备已经安装,请参考博主前面实验内容。
- 在Eclipse创建项目
- 第一次打开Eclipse,需要填写workspace(工作空间),用来保存程序所在的位置,这里按照默认,不需要改动,如下图。点击“OK”按钮,进入Eclipse软件。
可以看出,由于当前是采用hadoop用户登录了Linux系统,因此,默认的工作空间目录位于hadoop用户目录“/home/hadoop”下。
4) Eclipse启动以后,会呈现如下图所示的界面。
- 选择“File->New->Java Project”菜单,开始创建一个Java工程,会弹出如下图所示界面。
在“Project name”后面输入工程名称“HDFSTest”,选中“Use default location”,让这个Java工程的所有文件都保存到“/home/hadoop/workspace/HDFSTest”目录下。在“JRE”这个选项卡中,可以选择当前的Linux系统中已经安装好的JDK,比如jdk1.8.0_181。然后,点击界面底部的“Next>”按钮,进入下一步的设置。
-
为项目添加需要用到的JAR包,进入下一步的设置以后,会弹出如下图所示界面。
-
需要在这个界面中加载该Java工程所需要用到的JAR包,这些JAR包中包含了可以访问HDFS的Java API。这些JAR包都位于Linux系统的Hadoop安装目录下,对于本实验而言,就是在“/bigdata/hadoop-3.1.1/share/hadoop”目录下。点击界面中的“Libraries”选项卡,然后,点击界面右侧的“Add External JARs…”按钮,会弹出如下图所示界面。
-
在该界面中,上面左侧的一排目录按钮(即“yarn”、“tools”、“mapreduce”、“hdfs”、“common”和“client”),当点击某个目录按钮时,就会在下面列出该目录的内容。
为了编写一个能够与HDFS交互的Java应用程序,一般需要向Java工程中添加以下JAR包:
(1)”/bigdata/hadoop-3.1.1/share/hadoop/common”目录下的hadoop-common-3.1.1.jar和haoop-nfs-3.1.1.jar;
(2)/bigdata/hadoop-3.1.1/share/hadoop/common/lib”目录下的所有JAR包;
(3)“/bigdata/hadoop-3.1.1/share/hadoop/hdfs”目录下的haoop-hdfs-3.1.1.jar、haoop-hdfs-client-3.1.1.jar和haoop-hdfs-nfs-3.1.1.jar;
(4)“/bigdata/hadoop-3.1.1/share/hadoop/hdfs/lib”目录下的所有JAR包。
比如,如果要把“/bigdata/hadoop-3.1.1/share/hadoop/common”目录下的hadoop-common-3.1.1.jar和haoop-nfs-3.1.1.jar添加到当前的Java工程中,可以在界面中点击目录按钮,进入到common目录,然后,界面会显示出common目录下的所有内容(如下图所示)。
-
请在界面中用鼠标点击选中hadoop-common-3.1.1.jar和haoop-nfs-3.1.1.jar,然后点击界面右下角的“确定”按钮,就可以把这两个JAR包增加到当前Java工程中,出现的界面如图所示。
-
从这个界面中可以看出,hadoop-common-3.1.1.jar和haoop-nfs-3.1.1.jar已经被添加到当前Java工程中。然后,按照类似的操作方法,可以再次点击“Add External JARs…”按钮,把剩余的其他JAR包都添加进来。需要注意的是,当需要选中某个目录下的所有JAR包时,可以使用“Ctrl+A”组合键进行全选操作。全部添加完毕以后,就可以点击界面右下角的“Finish”按钮,完成Java工程HDFSTest的创建。
-
编写Java应用程序代码
下面编写一个Java应用程序,用来检测HDFS中是否存在一个文件。
请在Eclipse工作界面左侧的“Package Explorer”面板中(如图所示),找到刚才创建好的工程名称“HDFSTest”,然后在该工程名称上点击鼠标右键,在弹出的菜单中选择“New->Class”菜单。
选择“New->Class”菜单以后会出现如图所示界面。
在该界面中,只需要在“Name”后面输入新建的Java类文件的名称,这里采用名称“HDFSFileIfExist”,其他都可以采用默认设置,然后,点击界面右下角“Finish”按钮,出现如图所示界面。
可以看出,Eclipse自动创建了一个名为“HDFSFileIfExist.java”的源代码文件,请在该文件中输入以下代码:
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
public class HDFSFileIfExist {
public static void main(String[] args){
try{
String fileName = "test";
Configuration conf = new Configuration();
conf.set("fs.defaultFS", "hdfs://localhost:9000");
conf.set("fs.hdfs.impl", "org.apache.hadoop.hdfs.DistributedFileSystem");
FileSystem fs = FileSystem.get(conf);
if(fs.exists(new Path(fileName))){
System.out.println("文件存在");
}else{
System.out.println("文件不存在");
}
}catch (Exception e){
e.printStackTrace();
}
}
}
该程序用来测试HDFS中是否存在一个文件,其中有一行代码:
String fileName = “test”
这行代码给出了需要被检测的文件名称是“test”,没有给出路径全称,表示是采用了相对路径,实际上就是测试当前登录Linux系统的用户hadoop,在HDFS中对应的用户目录下是否存在test文件,也就是测试HDFS中的“/user/hadoop/”目录下是否存在test文件。
- 编译运行程序
在开始编译运行程序之前,请一定确保Hadoop已经启动运行,如果还没有启动,需要打开一个Linux终端,输入以下命令启动Hadoop:start-dfs.sh
现在就可以编译运行上面编写的代码。可以直接点击Eclipse工作界面上部的运行程序的快捷按钮,当把鼠标移动到该按钮上时,在弹出的菜单中选择“Run As”,继续在弹出来的菜单中选择“Java Application”,如图所示。
程序运行结束后,会在底部的“Console”面板中显示运行结果信息(如图所示)。由于目前HDFS的“/user/hadoop”目录下还没有test文件,因此,程序运行结果是“文件不存在”。同时,“Console”面板中还会显示一些类似“log4j:WARN…”的警告信息,可以不用理会。
到了这一步,本次实验就完成了,你今天学会了吗?