Hadoop hdfs编程案例和java交互

最新推荐文章于 2023-11-22 08:30:00 发布
最新推荐文章于 2023-11-22 08:30:00 发布
阅读量851 收藏 5
点赞数 1
文章标签： hadoop linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43665254/article/details/108936181
版权
本文详细介绍了Hadoop HDFS的编程实践，包括启动Hadoop、创建及管理HDFS目录、文件上传及内容查看等操作。此外，还讲解了如何利用Java API与HDFS进行交互，包括在Eclipse中创建项目、添加所需JAR包，并编写Java代码进行文件存在性判断。最后，阐述了将Java应用程序打包并部署到Hadoop平台运行的步骤，涉及jar包生成及使用hadoop jar命令执行程序。
摘要由CSDN通过智能技术生成

Hadoop hdfs编程案例

一、 HDFS编程实践

  1. 启动hadoop
    切换到hadoop安装目录
    cd /usr/local/Hadoop
    格式化hadoop的hdfs文件系统
    ./bin/hdfs namenode -format
    启动hadoop
    在这里插入图片描述
    查看fs总共有哪些命令
    在这里插入图片描述

创建用户目录：(多级目录)
cd /usr/local/Hadoop
./bin/hdfs dfs -mkdir –p /user/hadoop

创建两个文件
cd /usr/local/hadoop
./bin/hadoop fs -mkdir -p delete/test1
./bin/hadoop fs -mkdir -p delete/test2
查看创建的两个文件
./bin/hadoop fs -ls delete/

在这里插入图片描述

  1. 将文件上传到hadoop下的input中
    ./bin/hadoop fs -put -p /home/hadoop/myLocalFile.txt input
  2. 查看input目录中的文件
    ./bin/hadoop fs -ls input

在这里插入图片描述

  1. 查看myLocalFile.txt文件中的内容
    ./bin/hadoop fs -cat input/myLocalFile.txt
    在这里插入图片描述

  2. 通过web来查询
    在这里插入图片描述

二、利用Java API与HDFS进行交互

  1. 搜索eclipse进行安装
    在这里插入图片描述
  2. 安装默认的工作目录下
    在这里插入图片描述
  3. 创建项目：Dblab （File->new->java-project）

在这里插入图片描述
4. 安装项目加载所需要的jar包
Java API所在的jar包都在已经安装好的hadoop文件夹里，路径：/usr/local/hadoop/share/Hadoop
在该界面中，上面的一排目录按钮（即“usr”、“local”、“hadoop”、“share”、“hadoop”、“mapreduce”和“lib”），当点击某个目录按钮时，就会在下面列出该目录的内容。
为了编写一个能够与HDFS交互的Java应用程序，一般需要向Java工程中添加以下JAR包：
（1）”/usr/local/hadoop/share/hadoop/common”目录下的hadoop-common-2.7.1.jar和haoop-nfs-2.7.1.jar；
（2）/usr/local/hadoop/share/hadoop/common/lib”目录下的所有JAR包；
（3）“/usr/local/hadoop/share/hadoop/hdfs”目录下的haoop-hdfs-2.7.1.jar和haoop-hdfs-nfs-2.7.1.jar；
（4）“/usr/local/hadoop/share/hadoop/hdfs/lib”目录下的所有JAR包。
比如，如果要把“/usr/local/hadoop/share/hadoop/common”目录下的hadoop-common-2.7.1.jar和haoop-nfs-2.7.1.jar添加到当前的Java工程中，可以在界面中点击目录按钮，进入到common目录，然后，界面会显示出common目录下的所有内容.

在这里插入图片描述
在这里插入图片描述
当需要选中某个目录下的所有JAR包时，可以使用“Ctrl+A”组合键进行全选操作。全部添加完毕以后，就可以点击界面右下角的“Finish”按钮。
在Dblab项目中创建类HDFSFileifExist

在这里插入图片描述
在这里插入图片描述
6. 输入代码：1.判断文件test是否存在
在这里插入图片描述
7. 输出代码：判断文件myLocalFile.txt
判断结果 文件存在

在这里插入图片描述

三、应用程序的部署

  1. 将java应用程序生成jar包，部署到Hadoop平台上运行。
    在hadoop安装目录下新建一个名称为myapp的目录，用来存放我们自己编写的Hadoop应用程序。
    cd /usr/local/hadoop
    mkdir myapp

  2. 请在Eclipse工作界面左侧的“Package Explorer”面板中，在工程名称“HDFSExample”上点击鼠标右键，在弹出的菜单中选择“Export”

  3. 点击next
    在这里插入图片描述

  4. “Launch configuration”用于设置生成的JAR包被部署启动时运行的主类，需要在下拉列表中选择刚才配置的类“HDFSFileIfExist-Dblab”。

  5. 在“Export destination”中需要设置JAR包要输出保存到哪个目录，比如，这里设置为“/usr/local/hadoop/myapp/Dblab.jar”。在“Library handling”下面选择“Extract required libraries into generated

在这里插入图片描述
6. 可以到Linux系统中查看一下生成的Dblab.jar文件
在这里插入图片描述
使用hadoop jar命令运行程序。命令如下：
方法一：
cd /usr/local/hadoop
./bin/hadoop jar ./myapp/Dblab.jar

方法二
cd /usr/local/hadoop
java -jar ./myapp/Dblab.jar

在这里插入图片描述

栗子呀！
关注
分布式文件系统HDFS之利用Java API与HDFS进行交互
耶耶猫猫的博客
11-03 2028
本文参考林子雨老师Hadoop课程以及大数据技术原理与应用 第三章 分布式文件系统HDFS 学习指南，完成了自己的HDFS练习。
利用Java API对HDFS文件系统进行操作
SOARING
03-11 3309
前期配置好centos的namenode和datanode之后，能利用start-dfs.sh正常启动后可用Eclipse编写程序对hdfs文件系统进行相应的增删改查等操作。 首先需要配置hadoop的window环境变量，否则不能进行对hdfs进行正常操作。 打开我的电脑中的属性，环境变量，点新建添加HADOOP_HOME值为你的hadoop所在的目录（注意不要有中文），最后再把hadoop中...
【Hadoop】HDFS编程
XVII 的博客
07-18 367
1、初始化配置信息： @Test public void init() throws IOException, URISyntaxException, InterruptedException { Configuration configuration =new Configuration(); configuration.set("fs.hdfs.im...
Java API与HDFS进行交互，文件过滤与合并
mango
04-08 3493
文件的过滤与合并编程，我们将执行以下操作: 首先，从该目录中过滤出所有后缀名不为“ .abc"的文件。 然后，对过滤之后的文件进行读取。 最后，将这些文件的内容合并到文件“https://localhost:9000/user/hadoop/merge.txt”中。 (1)定义过滤器，我们将过滤掉后缀名为“.abc”的文件，这里通过实现接口org.apache.hadoop.fs.PathFilt...
利用Java API与HDFS进行交互
m0_68405269的博客
11-22 189
java代码：用“java.net.URL”和“org.apache.hadoop.fs.FsURLStreamHandlerFactory”编程完成输出HDFS中指定文件的文本到终端中。工作界面上部的运行程序的快捷按钮，当把鼠标移动到该按钮上时，在弹出的菜单中选择。注意：一个一个的点击包太麻烦了，可以选中多个包，然后按空格键就会导入了。，其他都可以采用默认设置，然后，点击界面右下角。创建text1文件，并放入hdfs中。类文件的名称，这里采用名称。包，注意，不包括目录。在该界面中，只需要在。
大数据课程的期末项目，基于spark、hadoop hdfs、mongodb，使用scala，进行电影推荐.zip
最新发布
03-13
该项目是一个大数据课程的期末项目，主要利用了Spark、Hadoop HDFS和MongoDB等技术，通过Scala编程语言来实现电影推荐系统。这个系统是基于大数据处理的，因此涉及到的知识点非常广泛，涵盖了分布式计算、数据存储、...
Java执行hadoop的基本操作实例代码
08-30
Java执行hadoop的基本操作实例代码是hadoop生态系统中的一部分，这些代码用于在hadoop中执行基本操作，如上传文件到HDFS、下载文件到本地、删除hdfs中的文件等。下面将详细介绍这些操作的知识点。 上传文件到HDFS ...
learn_hadoop_yunpan:使用hadoop,HDFS,boostrap3构建的一个简单文件存储应用
07-07
【标题】"learn_hadoop_yunpan"是一个项目，它利用了Hadoop、HDFS以及Bootstrap3技术...对于想要深入理解Hadoop和HDFS工作原理，以及如何构建基于它们的应用的初学者来说，"learn_hadoop_yunpan"是一个很好的实践案例。
eclipse连接hadoop所需要的hadoop.ddl和eclipse插件和hadoop运行案例
06-02
通过学习和运行这些案例，开发者可以快速掌握Hadoop MapReduce编程模型，以及在Eclipse中部署和调试作业的方法。 总的来说，要使Eclipse连接并运行Hadoop项目，我们需要安装Hadoop Eclipse Plugin，并理解`hadoop....
使用JavaAPI操作HDFS。
saddwe的博客
12-14 178
笔记
HDFS在JAVA API的操作
11-02
HDFS在JAVA API中的操作，以及在ecplise中的配置详情。
使用Java API操作HDFS
m0_73832851的博客
11-02 3613
使用Java API操作HDFS的实验原理如下：配置Hadoop环境：首先需要配置Hadoop的环境，包括设置Hadoop的安装路径、配置core-site.xml和hdfs-site.xml等文件，以便Java程序能够连接到HDFS。引入Hadoop依赖：在Java项目中，需要引入Hadoop的相关依赖，包括hadoop-common、hadoop-hdfs等依赖，以便能够使用Hadoop提供的API。
使用Java API访问Hdfs服务器
我玩的很开心的博客
06-30 5246
使用Java API访问Hdfs服务器
java代码实现hadoop的HDFS连接操作-编写API
m0_62642719的博客
05-23 2457
步骤一：在虚拟机上安装好hadoop并启动，在本地Windows配置好本地hadoop插件。（篇幅过长略可自行查询有关操作）。 步骤二：启动IDEA新建Maven工程。配置pom.xml文件（导入相关依赖）具体如下： <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XM
Hadoop—HDFS的Java客户端编程
Oner.wv的专栏
02-05 1349
可以使用HDFS Shell命令来完成对HDFS的操作，当然也可以使用Java编程语言来对HDFS实现操作。以下是一些Unit测试代码
大数据hadoop学习【6】-----通过JAVA编程实现对HDFS文件操作的JAVA整体项目
qq_42451251的博客
04-03 7378
通过JAVA实现对HDFS文件个各种操作，一直是hadoop基础学习的重要步骤，也是基础知识，所以，这对JAVA编程的能力有一定的要求，在JAVA的基础上，学习好hadoop！本次博客，我们利用JAVA做一个对HDFS文件操作的整体项目，内容如下： 向HDFS上传任意文本文件，如果指定的文件在HDFS中已经存在，由用户指定是追加到原有文件末尾还是覆盖原有的文件 从HDFS中下载指定文件，如果本地...
java调用API操作HDFS
linger(心怀梦想，活在当下，知乎ID：linger liu)
01-31 2904
java调用API操作HDFS package mongodb; import java.io.BufferedReader; import java.io.IOException; import java.io.InputStreamReader; import java.net.URI; import java.util.Arrays; import org.
Hadoop学习之 Java API 操作HDFS
LZW15082682930的博客
02-19 434
工具:IDEA（Linux） 下载地址：https://www.jetbrains.com/idea/download/#section=linux 本文以Ubuntu 16.04（桌面版）为例，也可在Windows进行编程 1.将IDEA(Linux)版本上传到Ubuntu系统 2.解压上传的文件夹： tar -zxvf ideaIC-2019.3.4.tar.gz 3.解压完成后，切到：/home/lzw/Public/IDE/idea-IC-193.6911.18/bin目
Hadoop学习笔记（三）HDFS应用程序开发
fanxiaobin
11-24 3151
1. API API文档位于hadoop安装目录的docs文件夹中。 与HDFS相关的API位于org.apache.hadoop.fs包中。下面列出了几个常用类及其说明： FileSystem：用于封装文件系统（包括HDFS）的基类。类中提供了创建文件、拷贝文件、删除文件、目录列表等相关文件操作的API。 FileStatus：用于封装文件属性信息的类，如文件长度、属主和组、最后修改时间...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值