大数据技术基础实验四：HDFS实验——读写HDFS文件

最新推荐文章于 2024-05-06 11:52:17 发布
最新推荐文章于 2024-05-06 11:52:17 发布
阅读量3.7k 收藏 35
点赞数 8
分类专栏： 大数据学习 文章标签： hdfs 大数据 hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_52417436/article/details/126957107
版权

大数据技术基础实验四：HDFS实验——读写HDFS文件

文章目录

一、前言

在前面的实验中我们进行了HDFS的部署，并设置了一键启动HDFS操作，本期实验我们将使用HDFS开发环境进行HDFS写、读的编写，以及程序的运行，了解HDFS读写文件的调用流程，理解HDFS读写文件的原理。

好啦废话不多说，我们开始今天的实验操作。

二、实验目的

  1. 会在Linux环境下编写读写HDFS文件的代码
  2. .会使用jar命令打包代码
  3. 会在master服务器上运行HDFS读写程序
  4. 会在Windows上安装Eclipse Hadoop插件
  5. 会在Eclipse环境编写读写HDFS文件的代码
  6. 会使用Eclipse打包代码
  7. 会使用Xftp工具将实验电脑上的文件上传至master服务器

三、实验原理

1、Java Classpath

Classpath设置的目的是告诉Java执行环境，在哪些目录下可以找到所要执行的Java程序所需要的类或者包。

Java执行环境本身就是一个平台，执行于这个平台上的程序是已编译完成的Java程序（文件后缀为.class）。如果将Java执行环境比喻为操作系统，如果设置Path变量是为了让操作系统找到指定的工具程序(以Windows来说就是找到.exe文件)，则设置Classpath的目的就是让Java执行环境找到指定的Java程序(也就是.class文件)。

我们来设置一下Classpath：

在设置中打开环境变量，然后点击新建

在这里插入图片描述

每一路径中间必须以英文;作为分隔。

在这里插入图片描述

2、Eclipse Hadoop插件下载

我们通过在Eclipse上下载Hadoop插件来开发Hadoop相关程序

因为我们学校的虚拟机集群环境是hadoop2.7.1，所以就只需要下载2。7.1版本插件。
我在网上找了很久的hadoop-eclipse-plugin插件，如果你们没找到可以留下你们的邮箱我单独发给你们。

安装插件在后面具体实验步骤的时候再来说明。

四、实验步骤

1、配置master服务器classpath

在终端输入如下命令：

vi /etc/profile

进入文件进行编辑，在该文件的最后加上如下信息：

JAVA_HOME=/usr/local/jdk1.7.0_79/
export HADOOP_HOME=/usr/cstor/hadoop
export JRE_HOME=/usr/local/jdk1.7.0_79//jre
export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$HADOOP_HOME/share/hadoop/common/*:$HADOOP_HOME/share/hadoop/common/lib/*
export PATH=$PATH:$HADOOP_HOME/bin
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib:$HADOOP_HOME/lib/native"

在这里插入图片描述

添加成功之后保存文件，然后再执行如下命令，让刚才设置的环境变量生效：

source /etc/profile

2、在master服务器编写HDFS写程序

在终端执行如下命令，然后编写HDFS写文件程序：

vi WriteFile.java

在文件内写入如下java程序代码然后保存退出。

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
public class WriteFile {
public static void main(String[] args)throws Exception{
Configuration conf=new Configuration();
FileSystem hdfs = FileSystem.get(conf);
Path dfs = new Path("/weather.txt");
FSDataOutputStream outputStream = hdfs.create(dfs);
outputStream.writeUTF("nj 20161009 23\n");
outputStream.close();
}
}

在这里插入图片描述

3、编译并打包HDFS写程序

使用javac编译刚刚编写的java代码，并使用jar命令打包为hdpAction.jar。

编译代码：

javac WriteFile.java

打包代码：

jar -cvf hdpAction.jar WriteFile.class

在这里插入图片描述

4、 执行HDFS写程序

在master虚拟机上使用如下命令执行hdpAction.jar：

hadoop jar ~/hdpAction.jar WriteFile

然后输入如下命令查看是否生成weather.txt文件：

hadoop fs -ls /

在这里插入图片描述

可以看出已经生成成功，我们来查看一下文件内容是否正确：

hadoop fs -cat /weather.txt

在这里插入图片描述

OK，结果是对的，我们继续下一步。

5、在master服务器编写HDFS读程序

直接在终端执行如下命令进行编写HDFS读文件程序操作：

vi ReadFile.java

然后填入如下java程序：

import java.io.IOException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

public class ReadFile {
  public static void main(String[] args) throws IOException {
    Configuration conf = new Configuration();
    Path inFile = new Path("/weather.txt");
    FileSystem hdfs = FileSystem.get(conf);
    FSDataInputStream inputStream = hdfs.open(inFile);
    System.out.println("myfile: " + inputStream.readUTF());
    inputStream.close();
  }
}

在这里插入图片描述

6、编译并打包HDFS读程序

再次使用刚刚的javac命令编译刚编写的java代码：

javac ReadFile.java

然后再次使用jar命令打包为hdpAction.jar：

jar -cvf hdpAction.jar ReadFile.class

在这里插入图片描述

7、 执行HDFS读程序

再次在master虚拟机上使用hadoop.jar命令执行hdpAction.jar，查看程序运行结果：

hadoop jar ~/hdpAction.jar ReadFile

在这里插入图片描述

8、安装与配置Eclipse Hadoop插件

现在我们开始之前的插件安装步骤，将我们下载的jar包放在Eclipse下载路径的插件包下面，如图：

在这里插入图片描述

然后我们需要在本地配置Hadoop环境，用于加载hadoop目录中的jar包，我们需要下载这个文件：

在这里插入图片描述

可以去官网下载，我是在学校大数据平台上面直接下载的，比较方便。

然后解压该文件到自己指定的路径。

然后我们需要验证是否可以用Eclipse新建Hadoop项目，打开Eclipse软件，按照如下操作选择：

在这里插入图片描述

点击之后查看是否有Map/Reduce Project的选项。

在这里插入图片描述

这里如果没有出现这个选项的话，需要去eclipse安装路径下的configuration文件中把org.eclipse.update删除，这是因为在 org.eclipse.update 文件夹下记录了插件的历史更新情况，它只记忆了以前的插件更新情况，而你新安装的插件它并不记录，之后再重启Eclipse就会出现这个选项了。

第一次新建Map/Reduce Project项目时需要指定hadoop解压后的位置：

在这里插入图片描述

在这里插入图片描述

9、使用Eclipse开发并打包HDFS写文件程序

紧接着上面输入项目名：WriteHDFS，创建一个Map/Reduce项目。

然后新建WriteFile类并填入如下java代码：

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
public class WriteFile {
public static void main(String[] args)throws Exception{
Configuration conf=new Configuration();
FileSystem hdfs = FileSystem.get(conf);
Path dfs = new Path("/weather.txt");
FSDataOutputStream outputStream = hdfs.create(dfs);
outputStream.writeUTF("nj 20161009 23\n");
outputStream.close();
}
}

如果你出现报错的话，就需要进行导包操作并且配置设置文件，在项目目录下面创建jar或者lib文件夹，添加如下两个包，如果你找不到的话我可以发给你们，留下邮箱就行：

在这里插入图片描述

然后在Eclipse左侧导航栏里右击该项目，选择导出，然后选择java，选择JAR 文件：

在这里插入图片描述

然后填写导出文件的路径和文件名，自定义：

在这里插入图片描述

然后点击下一步，再点击下一步，然后配置程序主类，这里必须要选择主类，我被这里坑了好久一直报错，学校大数据平台实验指导书和实验视频错了，必须要选择主类，不然后面上传到服务器就会一直报错。

在这里插入图片描述

在这里插入图片描述

然后选择完成就打包完成。

10、上传HDFS写文件程序jar包并执行

我们使用Xftp工具将刚刚生成的jar包上传至master服务器上：

在这里插入图片描述

然后在master服务器上使用如下命令执行hdpAction.jar：

hadoop jar ~/hdpAction.jar WriteFile

然后查看是否生成了weather.txt文件：

hadoop fs -ls /

在这里插入图片描述

如果已经生成，然后再查看文件内容是否正确：

hadoop fs -act /weather.txt

在这里插入图片描述

11、使用Eclipse开发并打包HDFS读文件程序

这里建项目的方法和前面的一样，我就不再详细的描述了。

新建项目名为ReadHDFS，然后再新建ReadFile类并编写如下代码：

import java.io.IOException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

public class ReadFile {
  public static void main(String[] args) throws IOException {
    Configuration conf = new Configuration();
    Path inFile = new Path("/weather.txt");
    FileSystem hdfs = FileSystem.get(conf);
    FSDataInputStream inputStream = hdfs.open(inFile);
    System.out.println("myfile: " + inputStream.readUTF());
    inputStream.close();
  }
}

然后和前面一样进行导包操作，再次强调要选择主类！

12、上传HDFS读文件程序jar包并执行

然后再次使用Xftp工具将包上传至master服务器上，并在master服务器上使用hadoop jar命令执行上传的包，查看程序运行结果：

在这里插入图片描述

五、补充一点

学校大数据平台实验视频说，因为大数据集群是使用的jdk1.7版本，必须要使用相同版本才行，如果你是jdk1.8版本，也不用重新配置1.7版本，只需要在Eclipse切换执行环境就行，具体操作如下：

右击项目然后依次选择选项：

在这里插入图片描述

然后将你们一开始的这个库移除，再点击添加库，这里我已经切换好了：

在这里插入图片描述

然后选择JRE系统库，点击下一步：

在这里插入图片描述

然后选择要切换的库版本，最后点击完成即可：

在这里插入图片描述

六、最后我想说

本期的实验到这里就结束了，因为中间出现了各种报错，所以这个实验做了很久，最后在不断摸索中终于是完成了。

通过本次实验我深刻明白了大数据环境的各种配置是真的麻烦，各种烦人的要求，哈哈哈，真的是太绝了，你们做大数据实验的时候一定要注意细节，仔细一点，不然很容易踩各种坑。

大概就说这么多了，一定要多去实战，不然你们都不知道会收获多少经验（坑），如果你们在实验过程中遇见了什么问题，欢迎大家来提问，我们一起讨论学习交流。

最后，后续我仍会继续更新有关大数据的实验，虽然过程比较辛苦，但收获满满。

-北天-
关注
  • 8
    点赞
  • 踩
  • 35
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 9
    评论
专栏目录
大数据平台构建：HDFS的重要概念.pptx
06-21
HDFS的重要概念 什么是HDFS 1 HDFS优势 2 HDFS劣势 3 目 录 一、什么是HDFS HDFS是Hadoop非常核心的子项目之一，全程为Hadoop File System。 HDFS是由Doug Cutting基于Google公司2003年10月开源的论文GFS做的开源实现，发展到目前为止，HDFS的运用非常广泛，基本上很多大数据平台大部分都会选用HDFS（或者类似HDFS）这样的分布式文件系统、来作为海量数据存储的一个解决方案。 定义： Doug Cutting 二、HDFS优势 高容错性，HDFS提供了非常好的“副本冗余机制”，简单来说就是一份数据在HDFS当中存放，包含它自身在内至少会有（默认）三个副本类似随机的存放在集群不同的服务器上，并且当其中一台服务器宕机、当前这台服务器上数据丢失，但HDFS会自动再将缺失的副本再通过copy的方式、保证数据的副本不会低于三个。 高容错性： 二、HDFS优势 成本低，可构建在廉价的商业服务器上，基于第一条高容错性的优势，HDFS可以搭建在低成本的廉价服务器上，而没有必要选择非常昂贵的服务器上，因为即使廉价服务器稳定性相对
大数据实验总结_全部
11-30
大数据实验总结_全部 大数据实验总结_全部 大数据实验总结_全部
实验二：熟悉常用的HDFS操作
05-05
A.2实验二:熟悉常用的HDFS操作 本实验对应第4章的内容。 A.2.1 实验目的 (1)理解 HDFS在Hadoop体系结构中的角色。(2）熟练使用HDFS操作常用的 Shell命令。(3)熟悉HDFS操作常用的Java API。 A.2.2 实验平台 (1）操作系统:Linux(建议Ubuntu 16.04）。(2) Hadoop版本:2.7.1。 (3）JDK版本:1.7或以上版本。(4) Java IDE:Eclipse。
大数据-HDFS（七）
01-07
大数据-HDFS（七） DataNode工作机制以及数据存储 DataNode工作机制 1）一个数据块在datanode上以文件形式存储在磁盘上，包括两个文件，一个是数据本身，一个是元数据包括数据块的长度，块数据的校验和，以及时间戳。 2）DataNode启动后向namenode注册，通过后，周期性（1小时）的向namenode上报所有的块信息。 3）心跳是每3秒一次，心跳返回结果带有namenode给该datanode的命令如复制块数据到另一台机器，或删除某个数据块。如果超过10分钟没有收到某个datanode的心跳，则认为该节点不可用。 4）集群运行中可以安全加入和退出一些机器 数据完整性
大数据之HDFS/Hadoop集群管理
06-09
HDFS是Apache Hadoop项目的一部分，是一个分布式文件系统，用于存储和管理文件，能提高超大文件的访问和存储速度。HDFS采用一次写入多次读取的流式数据访问模式保证了数据的一致性。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS适合服务于大规模数据集上的应用。
Hadoop理论及实践-HDFS读写数据流程（参考Hadoop官网）
Matrix70的博客
08-08 2469
NameNode根据一定的策略选择可用的DataNode，并为文件的每个数据块分配一个主节点（Primary DataNode）和多个副本节点（Replica DataNode），NameNode返回文件的数据节点列表给客户端。5、客户端根据数据节点列表，将数据切分成数据块，并按照指定的策略将这些数据块依次写入各个DataNode的数据节点。主节点将数据块按照指定的格式进行存储，并将数据复制到副本节点。数据复制和同步：主节点将数据块的副本传输给其他副本节点，并协调副本节点之间的数据同步，保证数据的一致性。
初识HDFS----编程实现对HDFS文件的读写
qq_41257358的博客
05-30 2389
初识HDFS----编程实现对HDFS文件的读写 目标： 1、了解hdfs常规的命令 2、在配置好hadoop开发环境的eclipse中编程实现Merger功能，实现从云端 （HDFS）中一个包含多个文件的路径（文件夹），将所有文件合并后保存到本地，或从云端合并文件下载到本地。 首先我们启动hadoop，运行jps验证启动成功。 一、了解HDFS命令 在终端输入hdfs dfs回车，可以看到关于HDFS操作的所有命令。我们可以根据名字发现与我们Linux下常用的命令类似，如cat，chmod，ls等都
HDFS读写流程详细过程
m0_57697768的博客
05-29 7153
HDFS详细的读写流程，edit和fsimage文件的更新，WAL技术
HDFS的读写流程步骤（附图文解析）
热门推荐
奇迹虎虎的博客
03-04 2万+
HDFS的写入流程与读取流程，附图文步骤解析
Hadoop系列文章SpringBoot编程实现HDFS读写文件、MapReduce程序
wangxudongx的专栏
01-24 3168
Hadoop系列文章 SpringBoot编程实现HDFS读写文件、MapReduce程序实现HDFS操作引入依赖winutils码代码读取HDFS中的文件写内容到文件中MapReduce操作码代码将程序放到服务器中运行 在Apache Hadoop 2中。Apache已经将资源管理功能剥离到Apache Hadoop YARN中，这是一个通用的分布式应用管理框架，而Apache Hadoop ...
大数据技术基础实验报告-HDFS常用操作命令.doc
08-21
大数据技术基础实验报告-HDFS常用操作命令
大数据技术基础实验报告-调用Java API实现HDFS操作.doc
08-21
大数据技术基础实验报告-调用Java API实现HDFS操作
大数据技术基础实验报告-MapReduce编程.doc
08-21
大数据技术基础实验报告-MapReduce编程
云计算技术实验报告四HDFS文件的读写
06-21
Linux，eclipse 要求编程实现GetMerger功能，实现从云端（HDFS）中下载一个包含多个文件的路径（文件夹），将所有文件合并后保存到本地（GetMerge）。
C# wpf 实现任意控件（包括窗口）更多调整大小功能
codeofcc的博客
01-15 2799
上一章我们已经实现了任意控件统一的拖动调整功能，能够方便的给任意控件设置拖动调整大小。开发过程中发现还是有些功能可以继续拓展的，比如cs代码触发拖动、自定义模板、交叉拖动、限制拖动范围等功能。有功能实现起来不算太容易，却很有实用价值。
ruoyi漏洞总结
qq_59468567的博客
05-03 611
baseurl 就有了，有的是全的 url，大多数是只给个 baseurl：prod-api，这类。js 下面有个 app.xxxxxx(一些个字母数字).js，直接里面搜。如果页面访问显示不正常，可添加默认访问路径尝试是否显示正常。若依有个特点，密码可能在前台直接显示，点击并能够成功登录。监控中存在大量接口路径，可通过未授权获取更多敏感信息在。图标和登录页面及验证码处的样式识别出若依。认证失败，无法访问系统资源。进行替换实现登录系统。数据库存在未授权访问。
ubuntu 安装单节点HBase
weixin_43632687的博客
05-06 192
8. 运行HBase shell。
kafka入门
solid_j的博客
05-06 116
本文主要介绍kafka中的一些基本概念，后面会随着学习进一步补充。
《深入理解kafka-核心设计与实践原理》第二章：生产者
最新发布
qq_41157876的博客
05-06 461
整个生产者客户端由两个线程协调运行，这两个线程分别为主线程和Sender线程(发送线程)生产者客户端中一个非常重要的参数，可靠性和吞吐量之前的权衡策略，默认值acks = 1。生产者客户端能发送的消息的最大值，默认1MB。
第1关：HDFS Java API编程 ——文件读写
10-20
HDFS是Hadoop分布式文件系统，它提供了Java API来进行文件读写操作。在HDFS中，文件被分成多个块并存储在不同的节点上，因此需要使用分布式文件系统的API来进行文件读写操作。 HDFS Java API提供了以下几个类来进行文件读写操作： 1. FileSystem：表示一个文件系统对象，可以通过它来获取文件系统的配置信息、创建文件、删除文件等操作。 2. Path：表示一个文件或目录的路径。 3. FSDataInputStream：表示一个输入流，可以用来读取HDFS中的文件。 4. FSDataOutputStream：表示一个输出流，可以用来向HDFS中写入数据。 下面是一个简单的示例代码，演示如何使用HDFS Java API进行文件读写操作： ```java import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import org.apache.hadoop.fs.FSDataInputStream; import org.apache.hadoop.fs.FSDataOutputStream; public class HdfsExample { public static void main(String[] args) throws Exception { // 创建一个Configuration对象，用于获取Hadoop配置信息 Configuration conf = new Configuration(); // 获取HDFS文件系统对象 FileSystem fs = FileSystem.get(conf); // 创建一个Path对象，表示要读取的文件路径 Path inputPath = new Path("/input/test.txt"); // 创建一个FSDataInputStream对象，用于读取文件 FSDataInputStream in = fs.open(inputPath); // 读取文件内容 byte[] buffer = new byte[1024]; int len = in.read(buffer); while (len > 0) { System.out.write(buffer, 0, len); len = in.read(buffer); } // 关闭输入流 in.close(); // 创建一个Path对象，表示要写入的文件路径 Path outputPath = new Path("/output/test.txt"); // 创建一个FSDataOutputStream对象，用于写入文件 FSDataOutputStream out = fs.create(outputPath); // 写入文件内容 String content = "Hello, HDFS!"; out.write(content.getBytes()); // 关闭输出流 out.close(); } } ```

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 9
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

-北天-

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值