HDFS命令和Java API
- 实验目的及要求
本次上机实验所涉及并要求掌握的知识点
- 实验环境
JDK、Eclipse、Maven
- 实验步骤
- 安装配置JDK+Eclipse+Maven
步骤:1.安装JDK→2.安装Eclipse→3.安装Maven→4. Eclipse里配置Maven (下载Windows版本,在Windows里安装使用。)
1.安装配置JDK
①官网下载Java开发工具安装包jdk-8u201-windows-x64.exe:https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
②运行安装包,第一次选择JDK安装路径,第二次选择JRE安装路径,开始安装。
③配置JDK的环境变量,Path添加JDK的\bin的安装路径,cmd命令行运行javac,查看是否成功安装配置。
2.安装Eclipse
①官网下载Eclipse安装包eclipse-inst-win64:https://www.eclipse.org/downloads/
②运行安装包,选择Eclipse IDE for Java Developers,开始安装。过程可能较慢。
3.安装Maven
① Maven官网http://maven.apache.org/download.cgi,选择最近的镜像,选择Maven压缩包apache-maven-3.6.0-bin.tar.gz开始下载。
②解压Maven压缩包apache-maven-3.6.0-bin.tar.gz,解压后的文件夹\apache-maven-3.6.0,将其考入自定义路径,如C:\eclipse\apache-maven-3.6.0。
③配置Maven的环境变量,Path添加Maven的\bin的安装路径,cmd命令行运行mvn -v,查看是否成功安装配置。
4.Eclipse配置Maven
在安装所在文件夹\apache-maven-3.6.0下面,新建\repository文件夹,作为Maven本地仓库。
- 修改settings.xml
找到maven的安装路径,
打开文件settings.xml在里面添加 (新建repository的路径)保存退出
<localRepository>D:\apache\apache-maven-3.6.0\repository</localRepository>
如下图位置:
- 配置Maven的installation和User Settings
【Preferences首选项】→【Maven】→【Installations】配置Maven安装路径
【User Settings】配置settings.xml的路径。
打开Window(窗口)->Preferences(首选项)->Maven->User Settings->Browse
- Eclipse里新建Maven Project
在Eclipse里新建Maven Project
在Eclipse里新建Maven Project
输入com.bla,项目名称HDFSTest。
等待自动生成Maven项目(可能要多等一下)
新建包hdfs.files,包里新建class:4个java文件(名字如下)。
添加pom.xml依赖
找到最下面的pom.xml,右键打开,然后复制下面的红色内容pom.xml的<project>与</project>之间即可
<dependencies>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-hdfs</artifactId>
<version>2.7.3</version>
</dependency>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-client</artifactId>
<version>2.7.3</version>
</dependency>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-common</artifactId>
<version>2.7.3</version>
</dependency>
</dependencies>
(按ctrl+s保存,会弹出窗口下载依赖,速度会很慢,多等就好)保存之后自动生成Maven Dependencies。
安装配置成功后,Maven项目树显示如下两项:
- HDFS命令和Java API
Linux的shell命令
常用的linux的shell命令:
cd /aa 转到/aa目录
pws 显示当前目录
ll /aa 显示/aa目录
mkdir /aa 新建/aa目录
rm /aa/out.txt 删除/aa目录下的out.txt文件
cat /aa/out.txt 查看/aa目录下的out.txt文件的内容
vi /aa/out.txt 编辑/aa目录下的out.txt文件的内容
ifconfig 查看IP地址
ip addr 查看IP地址
hdfs的shell命令
hdfs的shell命令,有三种形式,用前面两个。
hdfs dfs √
hadoop fs √
hadoop dfs ×
常用的hdfs的shell命令:
hdfs dfs -ls / 查看hdfs根目录下文件和目录
hdfs dfs -ls -R / 查看hdfs根目录下包括子目录在内的所有文件和目录
hdfs dfs -mkdir /aa/bb 在hdfs的/aa目录下新建/bb目录
hdfs dfs -rm -r /aa/bb 删除hdfs的/aa目录下的/bb目录
hdfs dfs -rm /aa/out.txt 删除hdfs的/aa目录下的out.txt文件
hdfs dfs -put anaconda-ks.cfg /aa 把本地文件上传到hdfs
hdfs dfs -copyFromLocal a.txt / 把本地文件上传到hdfs
hdfs dfs -get /bb.txt bbcopy.txt 从hdfs下载文件到本地
hdfs dfs -copyToLocal /bb.txt bbcopy.txt 从hdfs下载文件到本地
HDFS的Java程序
1、HDFSMKdir.java新建HDFS目录/aadir。
2、HDFSUpload.java写入/上传 本地文件c:\\hdfs\\aa.txt 到HDFS的/aadir目录下。
3、HDFSDownload.java读/下载 HDFS的根目录文件/bb.txt 到本地c:\\hdfs目录下。
4、HDFSFileIfExist.java查看HDFS文件/bb.txt是否存在。