HDFS JAVA API（Hadoop3.0系列）

最新推荐文章于 2023-12-19 17:56:23 发布
最新推荐文章于 2023-12-19 17:56:23 发布
阅读量504 收藏 4
点赞数
分类专栏： Hadoop3.0 文章标签： hadoop hdfs linux 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Candylx/article/details/115356136
版权

  1. 实验环境:
    Linux Ubuntu 16.04

    jdk-8u191-linux-x64

hadoop-3.0.0

hadoop-eclipse-plugin-2.7.3.jar 

eclipse-java-juno-SR2-linux-gtk-x86_64

  2. 切换目录到/apps/hadoop/sbin下，启动hadoop。

    view plain copy
cd /apps/hadoop/sbin  
./start-all.sh  
![在这里插入图片描述](https://img-blog.csdnimg.cn/20210331174300426.png)

  3. 在Linux本地创建/data/hadoop4目录
    mkdir -p /data/hadoop4

  4. 切换到/data/hadoop4目录，用wget命令，从…网址上下载依赖包hadoop2lib.tar.gz，并解压到当前目录。

  5. 打开clipse，新建JAVA项目，名为hadoop4。
    在这里插入图片描述

  6. 在hadoop4项目下新建包，名为my.hdfs。
    在这里插入图片描述

  7. 在hadoop4项目下创建目录，名为hadoop4lib，用于存放项目所需依赖包。
    在这里插入图片描述

  8. 从/data/hadoop4/hadoop2lib目录下拷贝所有jar包到项目下的hadoop4lib目录
    在这里插入图片描述

  9. 选中hadoop4lib里面的所有jar包，右键点击BuildPath=>Add to Build Path选项。
    在这里插入图片描述

  10. 这样就将jar包加载到项目里面了，然后是进行Java API对HDFS的各种基本操作。
    在这里插入图片描述

  11. 在my.hdfs包下，新建类MakeDir，程序功能是在HDFS的根目录下，创建名为hdfstest的目录

       ```java
   package my.hdfs;  
   import java.io.IOException;  
   import java.net.URI;  
   import java.net.URISyntaxException;  
   import org.apache.hadoop.conf.Configuration;  
   import org.apache.hadoop.fs.FileSystem;  
   import org.apache.hadoop.fs.Path;  
   public class MakeDir {  
       public static void main(String[] args) throws IOException, URISyntaxException {  
           Configuration conf = new Configuration();  
     
           String hdfsPath = "hdfs://localhost:9000";  
           FileSystem hdfs = FileSystem.get(new URI(hdfsPath), conf);  
     
           String newDir = "/hdfstest";  
     
           boolean result = hdfs.mkdirs(new Path(newDir));  
           if (result) {  
               System.out.println("Success!");  
           }else {  
               System.out.println("Failed!");  
           }  
       }  
   }  
   ```

![在这里插入图片描述](https://img-blog.csdnimg.cn/20210331175637749.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0NhbmR5bHg=,size_16,color_FFFFFF,t_70)
  1. 点击运行
    在这里插入图片描述
  2. 在Eclipse里执行，然后在HDFS上查看实验结果
    在这里插入图片描述
  3. 在my.hdfs包下，新建类TouchFile，程序功能是在HDFS的目录/hdfstest下，创建名为touchfile的文件
package my.hdfs;  
import java.io.IOException;  
import java.net.URI;  
import java.net.URISyntaxException;  
import org.apache.hadoop.conf.Configuration;  
import org.apache.hadoop.fs.FSDataOutputStream;  
import org.apache.hadoop.fs.FileSystem;  
import org.apache.hadoop.fs.Path;  
public class TouchFile {  
    public static void main(String[] args) throws IOException, URISyntaxException {  
        Configuration configuration = new Configuration();  
  
        String hdfsPath = "hdfs://localhost:9000";  
        FileSystem hdfs = FileSystem.get(new URI(hdfsPath), configuration);  
  
        String filePath = "/hdfstest/touchfile";  
  
        FSDataOutputStream create = hdfs.create(new Path(filePath));  
  
        System.out.println("Finish!");  
    }  
}
  1. 在Eclipse里执行，然后在hdfs上查看实验结果。
    在这里插入图片描述
  2. 在/data/hadoop4下使用vim打开sample_data文件
  3. 写入
    在这里插入图片描述
  4. 在my.hdfs包下，创建类CopyFromLocalFile.class，程序功能是将本地linux操作系统上的文件/data/hadoop4/sample_data，上传到HDFS文件系统的/hdfstest目录下。
    在Eclipse里执行，然后在HDFS上查看实验结果。
    在这里插入图片描述
  5. 在my.hdfs包下，创建类CopyToLocalFile.class，程序功能是将HDFS文件系统上的文件/hdfstest/sample_data，下载到本地/data/hadoop4/copytolocal 。
package my.hdfs;  
import java.io.IOException;  
import java.net.URI;  
import java.net.URISyntaxException;  
import org.apache.hadoop.conf.Configuration;  
import org.apache.hadoop.fs.FileSystem;  
import org.apache.hadoop.fs.Path;  
public class CopyToLocalFile {  
    public static void main(String[] args) throws IOException, URISyntaxException {  
        Configuration conf = new Configuration();  
  
        String hdfsPath = "hdfs://localhost:9000";  
        FileSystem hdfs = FileSystem.get(new URI(hdfsPath), conf);  
  
        String from_HDFS = "/hdfstest/sample_data";  
        String to_Linux = "/data/hadoop4/copytolocal";  
  
        hdfs.copyToLocalFile(false, new Path(from_HDFS), new Path(to_Linux));  
  
        System.out.println("Finish!");  
    }  
}

在Eclipse里执行，然后在Linux本地/data/hadoop4上查看实验结果。

view plain copy
cd /data/hadoop4/copytolocal
ls

  1. 在my.hdfs包下，新建类ListFiles，程序功能是列出HDFS文件系统/hdfstest目录下，所有的文件，以及文件的权限、用户组、所属用户。
package my.hdfs;  
import java.io.IOException;  
import java.net.URI;  
import org.apache.hadoop.conf.Configuration;  
import org.apache.hadoop.fs.FileStatus;  
import org.apache.hadoop.fs.FileSystem;  
import org.apache.hadoop.fs.Path;  
public class ListFiles {  
    public static void main(String[] args) throws IOException {  
        Configuration conf = new Configuration();  
        String hdfspath = "hdfs://localhost:9000/";  
        FileSystem hdfs = FileSystem.get(URI.create(hdfspath), conf);  
        String watchHDFS = "/hdfstest";  
        FileStatus[] files = hdfs.listStatus(new Path(watchHDFS));  
        for (FileStatus file : files) {  
            System.out.println(file.getPermission() + " " + file.getOwner()  
                    + " " + file.getGroup() + " " + file.getPath());  
        }  
    }  
}

在Eclipse里执行，然后在Eclipse的控制界面Console上查看实验结果。
在这里插入图片描述

  1. 在my.hdfs包下，新建类IteratorListFiles，程序功能是列出HDFS文件系统/根目录下，以及各级子目录下，所有文件以及文件的权限、用户组，所属用户。
package my.hdfs;  
import java.io.FileNotFoundException;  
import java.io.IOException;  
import java.net.URI;  
import org.apache.hadoop.conf.Configuration;  
import org.apache.hadoop.fs.FileStatus;  
import org.apache.hadoop.fs.FileSystem;  
import org.apache.hadoop.fs.Path;  
public class IteratorListFiles {  
    public static void main(String[] args) throws IOException {  
        Configuration conf = new Configuration();  
        String hdfspath = "hdfs://localhost:9000/";  
        FileSystem hdfs = FileSystem.get(URI.create(hdfspath), conf);  
        String watchHDFS = "/";  
  
        iteratorListFile(hdfs, new Path(watchHDFS));  
    }  
    public static void iteratorListFile(FileSystem hdfs, Path path)  
            throws FileNotFoundException, IOException {  
        FileStatus[] files = hdfs.listStatus(path);  
        for (FileStatus file : files) {  
            if (file.isDirectory()) {  
                System.out.println(file.getPermission() + " " + file.getOwner()  
                        + " " + file.getGroup() + " " + file.getPath());  
                iteratorListFile(hdfs, file.getPath());  
            } else if (file.isFile()) {  
                System.out.println(file.getPermission() + " " + file.getOwner()  
                        + " " + file.getGroup() + " " + file.getPath());  
            }  
        }  
    }  
}

运行
在这里插入图片描述
22. 在my.hdfs包下，新建类LocateFile，程序功能是查看HDFS文件系统上，文件/hdfstest/sample_data的文件块信息。

package my.hdfs;  
import java.io.IOException;  
import java.net.URI;  
import java.net.URISyntaxException;  
import org.apache.hadoop.conf.Configuration;  
import org.apache.hadoop.fs.BlockLocation;  
import org.apache.hadoop.fs.FileStatus;  
import org.apache.hadoop.fs.FileSystem;  
import org.apache.hadoop.fs.Path;  
public class LocateFile {  
    public static void main(String[] args) throws IOException, URISyntaxException {  
        Configuration conf = new Configuration();  
        String hdfsPath = "hdfs://localhost:9000";  
        FileSystem hdfs = FileSystem.get(new URI(hdfsPath), conf);  
  
        Path file = new Path("/hdfstest/sample_data");  
        FileStatus fileStatus = hdfs.getFileStatus(file);  
  
        BlockLocation[] location = hdfs.getFileBlockLocations(fileStatus, 0, fileStatus.getLen());  
        for (BlockLocation block : location) {  
            String[] hosts = block.getHosts();  
            for (String host : hosts) {  
                System.out.println("block:" +block + " host:"+ host);  
            }  
        }  
    }  
}  

		![在这里插入图片描述](https://img-blog.csdnimg.cn/2021033118311962.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0NhbmR5bHg=,size_16,color_FFFFFF,t_70)
咸鱼在厦大
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
HDFS JAVA API
Bee_Darker的博客
05-31 648
任务目标 1.掌握HDFS JAVA API 2.了解JAVA API的执行流程
hadoop3.0运行java_hadoop3.0新特性总结
weixin_40000999的博客
12-19 339
1．hadoop-3.0要求JDK版本不低于1.8，对之前的Java版本不再提供支持.所有Hadoop JAR现在都是针对Java 8的运行时版本编译的。2．部分服务默认端口修改，不再绑定到Linux临时端口(HDFS-9427,HADOOP-12811)Namenode ports: 50470 --> 9871, 50070--> 9870, 8020 --> 9820Sec...
基于Hadoop的MapReduce操作
最新发布
qq_63042830的博客
12-19 935
只要这个比较器比较的两个key相同，他们就属于同一个组，它们的value放在一个value迭代器，而这个迭代器的key使用属于同一个组的所有key的第一个key。只要这个比较器比较的两个key相同，他们就属于同一个组，它们的value放在一个value迭代器，而这个迭代器的key使用属于同一个组的所有key的第一个key。二次排序：在mapreduce中，所有的key是需要被比较和排序的，并且是二次，先根据partitioner，再根据大小。例如，创建复合排序器，先按日期排序，再按时间戳排序。
拷贝hadoop2目录下所有hadoop*.jar到hbase/lib目录
侯上校
05-29 1163
find /usr/local/hadoop/share/hadoop -name "hadoop*jar" | xargs -i cp {} /usr/local/hbase/lib/ 保存hbase的操作命令历史 用户目录下，新建一个文件.irbrc，输入以下内容 require 'irb/ext/save-history' IRB.conf[:SAVE_HISTORY]...
HDFS JAVA API（Hadoop3.0）
qq_35193897的博客
04-18 727
1.HDFS（Hadoop Distributed File System）是Hadoop项目的核心子项目，是分布式计算中数据存储管理的基础篇，为了实现本地与HDFS的文件传输，主要借助Eclipse开发环境，通过java编程实现了远程HDFS的文件创建，上传，下载，删除等。在my.hdfs包下，新建类PutMerge，程序功能是将Linux本地文件夹/data/hadoop4/下的所有文件，上传到HDFS上并合并成一个文件/hdfstest/mergefile。
Hadoop 3.0大数据平台性能
08-21
在Java编程接口上，Hadoop 3.0对API进行了优化，提供了更好的兼容性和稳定性。开发人员可以更容易地升级到新版本，同时保持代码的兼容性。此外，Hadoop 3.0还支持更多的编程语言，如Python和R，使得数据科学家和分析...
Hadoop3.0 + JDK1.8.1+Hadoop-win运行包2.6.0--3.0.0
03-25
安装和配置过程中需要注意环境变量的设置，确保Hadoop和Java的路径正确，同时也需要配置Hadoop的相关配置文件，如`core-site.xml`、`hdfs-site.xml`等，以便于HDFS的正常运行和数据存储。最后，通过编写MapReduce...
基于Hadoop的分布式系统依赖的所有JAR包
11-09
Hadoop的核心组件包括HDFS（Hadoop Distributed File System）和MapReduce，这两个部分都需要一系列的JAR包来支持其正常运行。本资源集合了Maven、HDFS、MapReduce等相关所有JAR包及依赖，为构建基于Hadoop的分布式...
hadoop.dll 和 winutils.exe
07-10
这个库文件可能包含了Hadoop的JNI（Java Native Interface）实现，使得Java代码能够调用本地系统的服务，如设置环境变量、管理HDFS（Hadoop Distributed File System）或者执行MapReduce任务等。 接下来，我们来看...
最新Apache Hadoop-3.0.0 百度云下载
03-21
5. **跨语言支持**：Hadoop 3.0.0加强了对多种编程语言的API支持，如Java、Python、C++等，使得开发者可以更灵活地选择开发工具。 6. **性能优化**：在3.0.0版本中，Hadoop对MapReduce进行了大量优化，包括更快的...
Hadoop3 - Java Api 操作 HDFS
小毕超博客
10-05 1200
如果在 windows 环境下使用 Java Api 进行操作，需要 hadoop.dll 和 winutils.exe ，可以下载Hadoop源码在windows平台编译，编译出windows本地库。如果出现下面错误，是因为以Windows登录用户访问HDFS,而该用户不具备在HDFS操作权限，可以通过修改HDFS文件系统权限，或者设置客户端身份，该身份具备在HDFS操作权限。针对不同文件系统有不同具体实现。该类封装了文件系统的相关操作方法。配置对象类，用于加载或设置参数属性。获得一个文件系统连接。
Java访问Hadoop实践
admin1973的专栏
03-08 8358
Java访问Hadoop实践 要想访问Hadoop集群,你当然要自己有一个集群呀,否则怎么test,此处有教你怎样用虚拟机搭建Hadoop集群 http://blog.csdn.net/admin1973/article/details/60874923 此处记录用java访问Hadoop集群HDFS,简单操作 源码下载地址: http://download.csdn.net/det
使用Java实现HDFS文件读写
qzc_root的博客
04-20 475
maven引入依赖 file-new-project-maven-create from archetype(org.apache.maven.archetypes:maven-archetype-quickstart) GroupId:项目组织唯一的标识符，实际对应JAVA的包的结构，是main目录里java的目录结构 ArtifactId：项目的唯一的标识符，实际对应项目的名称，就是项目根目录的名称-next-finish pom.xml <?xml version="1.0" encoding=
Hadoop 3.0.0 （单机版）安装与配置与基础使用
罗不丢的博客
09-03 980
大数据技术概述什么是大数据大数据的五V特性大数据的应用分布式文件系统---GFSHadooop概述什么是分布式文件系统什么是GFS（Google File System） 第一点：用户是怎样访问到需求数据的？第二点：为什么要把一个文件分成若干个chunk,一个chunk的大小为何设定为64M，一个文件的chunk要被分布在多个chunkserver中第三点：GFS的副本机制 HDFS安装部署以及文件配置
hadoop常见操作以及简单的Hadoop javaAPI实现
热门推荐
rainyrainbow的博客
11-24 2万+
Hadoop - HDFS（体系结构介绍、HDFS数据处理、Hadoop Shell基本操作、HDFS Java API）
坚决不做秃头少女
12-26 801
* HDFS的工作原理是答辩重点（块、元数据、主/从节点SecondaryNameNode，FsImage、EditImage、存取策略/规则、数据出错与恢复、读写过程） 集群和分布式概念： 集群：集群就是逻辑上处理同一任务的机器集合，可以属于同一机房，也可分属不同的机房 分布式：分布式文件系统把文件分布存储到多个计算机节点上，成千上万的计算机节点构成计算机集群 集群就是逻辑上处理同一任...
hadoop2版本和hadoop1版本的第三方jar包的位置问题
既然选择了远方 便只顾风雨兼程
12-12 2296
今天往集群上提交一个词频分析的程序，一个jar包需要引用程序的另一个jar包中的方法，所以必须把被引用的jar包提前导入hadoop中，在hadoop1.2版本中中，提交的jar放在hadoop的lib下，执行的时候系统会默认到lib下找到jar，应用到hadoop2.5.2上位置变了，今天在这个问题上卡了好久，最后经过尝试，是把引入的包导入到hadoop包下的share包的mr中的lib下，那么当
Hadoop（四）HDFS的高级API操作
weixin_42073629的博客
10-01 477
一 HDFS客户端环境准备 1.1jar包准备 1）解压hadoop-2.7.6.tar.gz到非中文目录 2）进入share文件夹，查找所有jar包，并把jar包拷贝到_lib文件夹下 3）在全部jar包中查找sources.jar，并剪切到_source文件夹。 4）在全部jar包中查找tests.jar，并剪切到_test文件夹 1.2Eclipse准备 1）根据自己电脑的操作系统拷贝对应的编译后的hadoop jar包到非中文路径（例如：E:\02_software\hadoop-..
实现Hadoop HDFS Java API的方法。
05-05
要实现Hadoop HDFS Java API，可以按照以下步骤进行操作： 1. 首先，需要安装Hadoop集群和配置HDFS。可以根据自己的需求进行安装和配置，也可以使用现有的Hadoop集群。 2. 然后需要在Java项目中添加Hadoop的依赖库...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值