HDFS的Java程序

最新推荐文章于 2023-06-16 03:06:20 发布
最新推荐文章于 2023-06-16 03:06:20 发布
阅读量300 收藏
点赞数
文章标签： HDFS的Java程序
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sinat_39193763/article/details/90517339
版权
一、HDFSMKdir.java新建HDFS目录/aadir二、HDFSUpload.java写入/上传 本地文件c:\hdfs\aa.txt 到HDFS的/aadir目录下。加载包三、HDFSDownload.java读/下载 HDFS的根目录文件/bb.txt 到本地c:\hdfs目录下加载包四、HDFSFileIfExist.java查看HDFS文件/bb.txt是否存在实验...
摘要由CSDN通过智能技术生成

一、HDFSMKdir.java新建HDFS目录/aadir

在这里插入图片描述

二、HDFSUpload.java写入/上传 本地文件c:\hdfs\aa.txt 到HDFS的/aadir目录下。

在这里插入图片描述
加载包在这里插入图片描述
三、HDFSDownload.java读/下载 HDFS的根目录文件/bb.txt 到本地c:\hdfs目录下在这里插入图片描述
加载包在这里插入图片描述
四、HDFSFileIfExist.java查看HDFS文件/bb.txt是否存在在这里插入图片描述

实验步骤

1.     
搭建Hadoop伪分布式模式、或者完全分布式模式

2.     
Windows里安装配置JDK+Eclipse+Maven

3.     
在Eclipse里新建Maven Project，新建包，新建class

4.     
编程上述4个Java程序

5.     
虚拟机的namenode主机上，启动Hadoop

6.     
在eclipse里运行上述4个Java程序

7.     
使用hdfs的shell命令查看运行结果

8.     
使用web console查看运行结果

甜粽子蘸酱油
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
HDFS配置及运行Java程序
流月心晴
05-25 998
HDFS分布文件系统 Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。HDFS放宽了一部分POSIX约束，来实现流式读取文件系统数据的目的。HDFS在最开始是作为Apache Nutch搜索引擎项目的基础...
在eclipse中编写HDFS的Java程序
qq_44240521的博客
05-26 1335
1.开始我们需要配置jdk+eclipse+maven,文章参考链接https://blog.csdn.net/qq_44240521/article/details/90574089 2.在Eclipse里新建Maven Project 【file】-【new】-【Maven project】 如下图自动生成Maven项目，新建包hdfs.files，包里新建class：4个java文件。 ...
HDFS的Java操作
qq_52980958的博客
06-16 718
如果我们的代码中没有指定fs.defaultFS，并且工程classpath下也没有给定相应的配置，conf中的默认值就来自于hadoop的jar包中的core-default.xml，默认值为： file:///，则获取的将不是一个DistributedFileSystem的实例，而是一个本地文件系统的客户端对象。——从conf中的一个参数 fs.defaultFS的配置值判断；我们的操作目标是HDFS，所以获取到的fs对象应该是DistributedFileSystem的实例；
HDFS JAVA API
unhurried人生——冕临的博客
09-12 1281
org.apache.hadoop.fs.FileSystem：一个通用文件系统的抽象基类，可以被分布式文件系统继承。所有可能使用Hadoop文件系统的代码都要使用到这个类。org.apache.hadoop.fs.FileStatus：一个接口，用于向客户端展示系统中文件和目录的元数据，具体包括文件大小、块大小、副本信息、所有者、修改时间等，可通过FileSystem.listStatus()方法获得具体的实例对象。
HDFS Java API 用eclipse操作
weixin_54490958的博客
04-23 2728
配置Eclipse开发环境具体步骤如下 一：下载Eclipse插件,和eclipse eclipse插件参考网站如下： https://github.com/winghc/hadoop2x-eclipse-plugin https://codeload.github.com/winghc/hadoop2x-eclipse-plugin/zip/master eclipse下载 可以到Eclipse官网（Eclipse Downloads | The Eclipse Foundation）下载
hdfs JAVA操作
m0_46589413的博客
05-03 1758
hdfs JAVA操作
HDFS基础编程（含java程序以及部署app）
weixin_55089394的博客
11-19 1359
重点：理解文件的生成和存储的地址 难点：运行程序，二次运行同一程序时，注意已经生成的文件，考虑是否需要删除
使用java访问HDFS
Pythonwudud的博客
12-17 1348
在resources目录里创建log4j.properties文件。命令重复执行，不会失败，只是不断改变该文件的时间戳。文件，有点类似于Hadoop Shell里执行。创建Maven项目 - HDFSDemo。在Hadoop WebUI界面查看。利用Hadoop WebUI查看。已经存在，此时会提示用户创建失败。在HDFS Shell里利用。目录里确实创建了一个0字节的。命令的效果，但是有一点不同，单击【Create】按钮。（Maven仓库）-命令可以创建时间戳文件。
java连接HDFS
qq_67460132的博客
11-20 1953
HDFS连接java
HDFS Java api 简单程序.zip
01-10
HDFS Java API是开发人员与HDFS进行通信的主要接口，它提供了丰富的类和方法，使得在Java程序中读写HDFS文件变得简单易行。 首先，我们需要导入Hadoop的相关库。在Java项目中，确保你的`pom.xml`或`build.gradle`...
hdfs-java-api
10-17
而HDFS Java API则是开发人员与HDFS进行交互的主要接口，使得Java应用程序能够便捷地读写HDFS上的文件。本文将深入探讨HDFS Java API的原理、使用方法及其在实际应用中的最佳实践。 一、HDFS基础 1.1 HDFS架构：...
java操作hdfs.rar
08-23
这包括设置`HADOOP_HOME`和`PATH`，以便Java程序能够找到Hadoop的相关库。此外，你还需要修改配置文件，例如`core-site.xml`和`hdfs-site.xml`，以确保它们与你的本地HDFS集群设置相匹配，例如命名节点（NameNode）...
JAVA操作HDFS案例的简单实现
08-29
本篇文章主要介绍了JAVA操作HDFS案例的简单实现，涵盖了JAVA操作HDFS的基本概念、HDFS的基本操作、 JAVA与HDFS的集成等相关知识点。 1. JAVA操作HDFS的基本概念 HDFS（Hadoop Distributed File System）是一种...
使用Java Api操作HDFS过程详解
08-25
Java 应用程序接口（API）是 Java 语言提供的一组编程接口，用于访问和操作 Hadoop 分布式文件系统（HDFS）。本文将详细介绍使用 Java API 操作 HDFS 的过程，并提供了一个示例代码，展示如何使用 Java API 读取和...
基于Springboot和Vue的图书借还管理系统源码 图书借还管理系统代码（高分毕设）
07-28
图书借还管理系统源码（高分毕设），个人经导师指导并认可通过的98分毕业设计项目，主要针对计算机相关专业的正在做毕设的学生和需要项目实战练习的学习者。也可作为课程设计、期末大作业。包含全部项目源码[代码]、该项目可以直接作为毕设使用。项目技术栈：前端是vue，后端是springboot，项目代码都经过严格调试，代码没有任何bug！ 系统源码（高分毕设），个人经导师指导并认可通过的98分毕业设计项目，主要针对计算机相关专业的正在做毕设的学生和需要项目实战练习的学习者。也可作为课程设计、期末大作业。包含全部项目源码[代码]、该项目可以直接作为毕设使用。项目技术栈：前端是vue，后端是springboot，项目代码都经过严格调试，代码没有任何bug！ 系统源码（高分毕设），个人经导师指导并认可通过的98分毕业设计项目，主要针对计算机相关专业的正在做毕设的学生和需要项目实战练习的学习者。也可作为课程设计、期末大作业。包含全部项目源码[代码]、该项目可以直接作为毕设使用。项目技术栈：前端是vue，后端是springboot，项目代码都经过严格调试，代码没有任何bug！
C语言内存管理：静态与动态分配的较量
07-28
C语言是一种通用的编程语言，由丹尼斯·里奇（Dennis Ritchie）在20世纪70年代早期于美国电话电报公司（AT&T）的贝尔实验室开发。C语言以其高效性、灵活性和可移植性而闻名，它是一种过程式编程语言，提供了对底层硬件的直接访问能力。 C语言的特点包括： 1. **简洁高效**：C语言的语法简洁，执行效率高，适合编写系统软件。 2. **接近硬件**：C语言提供了对内存地址和位操作的直接控制，使其非常适合硬件级编程。 3. **可移植性**：C语言编写的程序可以在不同的操作系统和硬件平台上编译和运行，具有很好的可移植性。 4. **丰富的库支持**：C语言拥有大量的标准库，如标准输入输出库（stdio.h）、数学库（math.h）等。 5. **结构化编程**：C语言支持结构化编程，允许使用循环、条件判断和函数等控制结构。 6. **指针**：C语言的指针功能强大，可以操作内存地址，实现复杂的数据结构和算法。 7. **编译型语言**：C语言是一种编译型语言，源代码需要通过编译器转换成机器码才能运行。 C语言广泛应用于操作系统（如Unix和Linux）、嵌入式系统、高性能
通讯协议规范-命令包格式
07-28
提供一份通讯协议规范，包含命令包、格式等，在上下位机调试的时候可参考该文档，制定对应的通讯协议。
四足宠物机器狗动态步行规划与仿真.pdf
最新发布
07-28
四足宠物机器狗动态步行规划与仿真
撰写一份《使用eclipse开发调试HDFS Java程序并利用Hadoop提供的Java API进行基本的文件操作》的2000字实验报告，并且包含实验过程和心得体会
05-26
实验目的：学习如何使用eclipse开发调试HDFS Java程序，并利用Hadoop提供的Java API进行基本的文件操作。 实验环境：Eclipse、Hadoop、Java 实验过程： 1. 下载安装Hadoop 首先需要下载安装Hadoop，可以到官网下载最新版本。然后解压到本地目录并配置环境变量。 2. 配置Hadoop 打开Hadoop的配置文件hdfs-site.xml，修改以下参数： ``` <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>/usr/local/hadoop/hdfs/namenode</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>/usr/local/hadoop/hdfs/datanode</value> </property> ``` 这里设置副本数为1，并设置namenode和datanode的存储路径。 3. 启动Hadoop 启动Hadoop，输入以下命令： ``` $ start-dfs.sh $ start-yarn.sh ``` 4. 创建Java项目 在Eclipse中创建Java项目，并导入hadoop-common和hadoop-hdfs-client的jar包。 5. 编写Java程序 编写Java程序，代码如下： ``` import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; public class HdfsTest { public static void main(String[] args) throws IOException { // 创建配置对象 Configuration conf = new Configuration(); // 设置HDFS的访问地址 conf.set("fs.defaultFS", "hdfs://localhost:9000"); // 创建文件系统对象 FileSystem fs = FileSystem.get(conf); // 创建一个路径对象 Path path = new Path("/test.txt"); // 判断文件是否存在 boolean exists = fs.exists(path); System.out.println(exists); // 创建文件 fs.create(path); // 关闭文件系统对象 fs.close(); } } ``` 这段代码实现了连接到HDFS，判断文件是否存在，以及创建文件的功能。 6. 运行程序 在Eclipse中运行程序，可以看到控制台输出文件是否存在的信息。 7. 查看HDFS中的文件 使用Hadoop提供的命令行工具查看HDFS中是否存在test.txt文件： ``` $ hdfs dfs -ls / ``` 可以看到test.txt文件已经存在于HDFS中。 心得体会： 通过本次实验，我学会了如何使用eclipse开发调试HDFS Java程序，并利用Hadoop提供的Java API进行基本的文件操作。在实验过程中，我遇到了许多问题，比如Hadoop的环境配置、jar包导入等等，但通过不断的尝试和查找资料，我最终成功地完成了实验。通过这个过程，我深刻地体会到了学习的重要性，只有不断地学习和实践，才能更好地掌握知识。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值