项目框架介绍和Hdfs的API操作
任务一:项目框架介绍和Hdfs的API操作
导入
hadoop-2.7.1/share/hadoop/mapreduce 下的所有jar包(子文件夹下的jar包不用)
hadoop-2.7.1/share/hadoop/hdfs /下的hadoop-hdfs-2.7.1.jar
hadoop-2.7.1/share/hadoop/yarn 下的所有jar包(子文件夹下的jar包不用)
hadoop-2.7.1/share/hadoop/common 下的hadoop-common-2.7.1.jar
hadoop-2.7.1/share/hadoop/common/lib 下的slf4j-api-1.7.10.jar,slf4j-log4j12-1.7.10.jar
hadoop-2.7.1/share/hadoop/tools 下的所有jar包
任务描述
该实训任务主要是完成Java工程的创建以及相关的设置,并掌握Hdfs的API操作,包括在Hdfs上创建目录,上传文件到Hdfs,下载Hdfs文件,删除Hdfs文件。
任务目标
- 掌握Java工程的创建的步骤
- 掌握Hdfs的API操作
任务分析
HDFS(Hadoop Distributed File System)是Hadoop项目的核心子项目,是分布式计算中数据存储管理的基础篇,为了实现本地与HDFS的文件传输,主要借助Eclipse开发环境,通过java编程实现了远程HDFS的文件创建,上传,下载,删除等。
其实对HDSF的文件操作主要有两种方式:命令行的方式和JavaAPI的方式。命令行的方式简单直接,但是必须要求本地机器也是在Linux系统中已经安装了hadoop,这对习惯用windows系统的用户来说不得不安装虚拟机,然后再在虚拟机上安装Linux系统,这是一种挑战。同时windows系统与虚拟机上安装的Linux系统进行文件传输也是要借助一些工具才可以实现。
为了实现以上所遇到诸如系统不一致,手动输入命令等的困扰,我们选择Java API的方式,有专门的API函数,可以在非Hadoop机器上实现访问,同时与系统无关。Hadoop中关于文件操作类基本上全部是在’org.apache.hadoop.fs’包中,Hadoop类库中最终面向用户提供的接口类是FileSystem,该类封装了几乎所有的文件操作,例如CopyToLocalFile、CopyFromLocalFile、mkdir及delete等。综上基本上可以得出操作文件的程序库框架:
operator( ) {
得到Configuration对象
得到FileSystem对象
进行文件操作
}
本次实训练习仅包含常用API如CopyToLocalFile、CopyFromLocalFile、mkdir及delete等,更多hdfs的APi的使用可以参考官方API文档 http: // hadoop.apache.org /docs/r2.7.5/api/index.html
实训环境
- 操作系统:Ubuntu 16.04.3
- hadoop版本:hadoop-2.7.3
- hive版本:apache-hive-1.2.2-bin
- jdk版本:jdk1.8.0_73
任务实施
启动hadoop集群,并查看进程
使用eclipse创建工程,找到桌面的eclipse图标,双击图标打开eclipse,设置默认的工作空间,其操作界面如下图所示。
在package Explorer窗口中点击右键 — new — Project,创建一个java工程。
在弹出的窗口中进行如下操作:在下图第一个红框的位置,输入项目名,第二个红框的位置设置使用的jre/jdk版本,完成后直接点击Finish(环境中默认eclipse的jre/jdk版本无法使用,需根据后续步骤设置)
在第二个红框下方点击Configure JREs…后弹出下面的窗口。
点击右侧Add,弹出添加窗口
选中下图的Standard VM后点击Next,在文件系统中找到相应路径下的jdk
配置完成后点Finish
最后即可选择jre/jdk版本为jdk1.8.0_73
在工程下的src目录上点击右键 — new — package,创建一个包。
在弹出的窗口中进行如下操作:在下图的红框位置输入要创建的包名,完成后直接点击Finish。
在工程下的包目录上点击右键 — new — class,创建一个类。
在弹出的窗口中进行如下操作:在下图的红框位置输入要创建的类名,完成后直接点击Finish。
为了使用hdfsAPI进行变成,引入项目相关的依赖包hadoop,从桌面上打开文件系统,进入/simpleware_dateset/tmp/datas/hadoop/lib/目录,查看项目依赖的jar包。
选中该目录下所有jar包,点击右键复制,如下图所示
回到eclipse程序中在项目跟文件夹下点击右键—new-Folder,创建一个新文件夹
在弹出的窗口中进行如下操作:在下图的红框位置输入要创建的文件夹名,完成后直接点击Finish。
在新文件夹的目录上点击右键粘贴(Paste),将复制的文件粘贴到该目录下。
点击文件夹前的小三角符号,查看文件是否被复制并粘贴成功。
点击上数第一个jar包,将垂直滚动条拖动到最下面,按住shift选中最后一个jar17包,即完成jar包的全选,并点击右键—build path—add to build path
发现jar包被添加到Referenced Libraries目录下,即完成依赖jar包的导入。
环境准备完毕,接下来进行代码的编写,在之前创建的 HDFSTEST.java 文件下编写代码,先编写一个main方法作为程序的入口。
编写一个在HDFS创建目录的方法。
编写一个上传文件到HDFS的方法。
编写一个从HDFS下载文件的方法。
编写一个从HDFS下载文件的方法。
编写一个判断存在并删除的方法。
编写main执行逻辑。
具体的HDFS的文件创建,上传,下载,删除等程序设计如下:
package com.simple.hdfstest;
import java.io.IOException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
public class HDFSTest {
/**
*新建目录
*
* @param dsta
* @param conf
* @return
*/
public static boolean CreatDir(String dst, Configuration conf) {
Path dstPath = new Path(dst);
try {
FileSystem dhfs = FileSystem.get(conf);
dhfs.mkdirs(dstPath);
} catch (IOException ie) {
ie.printStackTrace();
return false;
}
return true;
}
/**
* 上传文件
*
* @param src
* @param dst
* @param conf
* @return
*/
public static boolean putToHDFS(String src, String dst, Configuration conf) {
Path dstPath = new Path(dst);
try {
FileSystem hdfs = dstPath.getFileSystem(conf);
hdfs.copyFromLocalFile(false, new Path(src), dstPath);
} catch (IOException ie) {
ie.printStackTrace();
return false;
}
return true;
}
/**
* 下载文件
*
* @param src
* @param dst
* @param conf
* @return
*/
public static boolean getFromHDFS(String src, String dst, Configuration conf) {
Path dstPath = new Path(dst);
try {
FileSystem dhfs = dstPath.getFileSystem(conf);
dhfs.copyToLocalFile(false, new Path(src), dstPath);
} catch (IOException ie) {
ie.printStackTrace();
return false;
}
return true;
}
/**
* 删除文件
*
* @param path
* @param conf
* @return
*/
public static boolean checkAndDel(final String path, Configuration conf) {
Path dstPath = new Path(path);
try {
FileSystem dhfs = dstPath.getFileSystem(conf);
if (dhfs.exists(dstPath)) {
dhfs.delete(dstPath, true);
} else {
return false;
}
} catch (IOException ie) {
ie.printStackTrace();
return false;
}
return true;
}
public static void main(String[] args) {
boolean status = false;
String dst1 = 'hdfs://localhost:9000/hdfs/new';
Configuration conf = new Configuration();
conf.set('fs.default.name', 'hdfs://master:9000'); // 'hdfs://master:9000'
status = CreatDir(dst1, conf);
System.out.println('CreatDir -- status=' + status);
String dst = 'hdfs://localhost:9000/hdfs';
String src = 'hello.txt';
status = putToHDFS(src, dst, conf);
System.out.println('putToHDFS -- status=' + status);
src = 'hdfs://localhost:9000/hdfs/hello.txt';
dst = '/data/bigdata/datas/hdfs/';
status = getFromHDFS(src, dst, conf);
System.out.println('getFromHDFS -- status=' + status);
dst = 'hdfs://localhost:9000/hdfs/hello.txt';
status = checkAndDel(dst, conf);
System.out.println('checkAndDel -- status=' + status);
}
}
由于需要上传一个文件用于测试,在工程根目录下,右键—new—file,创建一个新文件。
在弹出的窗口中进行如下操作:在下图的红框位置输入要创建的文件名,完成后直接点击Finish。
编辑文件内容,并使用ctrl+s快捷键进行保存。
从桌面打开一个Terminal(xfce终端),输入命令jps查看Hdfs服务是否启动。(若没有启动可使用$HADOOP_HOME/sbin/start-all.sh 启动)
在eclipse中,点击如图所示的三角符号运行HDFSTest。
执行结果如下图所示即为程序执行正常。
在Terminal中,查看文件是否被正确下载。
进入/data/bigdata/datas/目录下查看hdfs文件的内容是否正确。