java操作hadoop_java api使用分享

最新推荐文章于 2024-06-30 03:14:56 发布
最新推荐文章于 2024-06-30 03:14:56 发布
阅读量290 收藏 2
点赞数
分类专栏： 大数据技术 文章标签： hadoop java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hackzzh/article/details/101729447
版权

文章目录

文件系统对象FileSystem

Configuration conf = new Configuration();
// 获取配置文件对象
conf.set("fs.defaultFS", "hdfs://localhost:9000");
conf.set("fs.hdfs.impl", "org.apache.hadoop.hdfs.DistributedFileSystem");

FileSystem fsSource = FileSystem.get(URI.create("hdfs://localhost:9000"), conf, user);
// 获取文件系统对象

列出文件

public void listfiles(String where) throws IOException, InterruptedException {
        Configuration conf = new Configuration();
        // 获取配置文件对象
        conf.set("fs.defaultFS", "hdfs://localhost:9000");
        conf.set("fs.hdfs.impl", "org.apache.hadoop.hdfs.DistributedFileSystem");

        FileSystem fsSource = FileSystem.get(URI.create("hdfs://localhost:9000"), conf, user);
        // 获取文件系统对象

        try {
            RemoteIterator<LocatedFileStatus> iter = fsSource.listFiles(new Path(where.toString()), true);
            //这里的第二个参数true表示递归遍历，false反之

            while (iter.hasNext()){
                LocatedFileStatus file = iter.next();
                String Path_file = file.getPath().toString();
                // 获取文件目录
                System.out.println(user + "$:" + Path_file.substring(21));

                //System.out.println(file.getPath().getName());
                // 只获取文件名
            }
        } catch (IOException e) {
            e.printStackTrace();
        }
    }

这里注意到RemoteIterator<LocatedFileStatus> iter = fsSource.listFiles(new Path(where.toString()), true);中true表示递归查看文件。
为true时这里我的运行结果：
在这里插入图片描述
为false时：什么都没有遍历到
在这里插入图片描述

创建目录

/*
*
* 创建目录
*
*/
public void mkdir(String name) throws IOException, InterruptedException {
        Configuration conf = new Configuration();
        conf.set("fs.defaultFS", "hdfs://localhost:9000");
        conf.set("fs.hdfs.impl", "org.apache.hadoop.hdfs.DistributedFileSystem");
        FileSystem fsSource = FileSystem.get(URI.create("hdfs://localhost:9000/"), conf, user);

        try {
            fsSource.mkdirs(new Path(name));
        } catch (IOException e) {
            // 创建目录
            e.printStackTrace();
        }
    }

删除文件

/*
*
* 删除文件
*/
public void delete(String name, boolean recursive) throws IOException, InterruptedException {
        Configuration conf = new Configuration();
        conf.set("fs.defaultFS", "hdfs://localhost:9000");
        conf.set("fs.hdfs.impl", "org.apache.hadoop.hdfs.DistributedFileSystem");
        FileSystem fsSource = FileSystem.get(URI.create("hdfs://localhost:9000/"), conf, user);

        try {
            fsSource.delete(new Path(name), recursive);
        } catch (IOException e) {
            e.printStackTrace();
        }
    }

下载文件

/*
*
* 下载文件
*/
    public void download(String src, String dst) throws IOException, InterruptedException {
        Configuration conf = new Configuration();
        conf.set("fs.defaultFS", "hdfs://localhost:9000");
        conf.set("fs.hdfs.impl", "org.apache.hadoop.hdfs.DistributedFileSystem");
        FileSystem fsSource = FileSystem.get(URI.create("hdfs://localhost:9000/"), conf, user);

        try {
            // 下载
            fsSource.copyToLocalFile(new Path(src), new Path(dst));
        } catch (IOException e) {
            e.printStackTrace();
        }
    }

上传文件

/*
*
* 上传文件
*/
    public void upload(String src, String dst) throws IOException, InterruptedException {
        Configuration conf = new Configuration();
        conf.set("fs.defaultFS", "hdfs://localhost:9000");
        conf.set("fs.hdfs.impl", "org.apache.hadoop.hdfs.DistributedFileSystem");
        FileSystem fsSource = FileSystem.get(URI.create("hdfs://localhost:9000/"), conf, user);

        try {
            // 上传
            fsSource.copyFromLocalFile(new Path(src), new Path(dst));
        } catch (IOException e) {
            e.printStackTrace();
        }
    }

重命名文件

/*
*
* 重命名
*/
public void rename(String source, String dst) throws IOException, InterruptedException {
        Configuration conf = new Configuration();
        conf.set("fs.defaultFS", "hdfs://localhost:9000");
        conf.set("fs.hdfs.impl", "org.apache.hadoop.hdfs.DistributedFileSystem");
        FileSystem fsSource = FileSystem.get(URI.create("hdfs://localhost:9000/"), conf, user);

        try {
            fsSource.rename(new Path(source), new Path(dst));
        } catch (IOException e) {
            e.printStackTrace();
        }
}

完整程序

注意开头package要改成你自己的包名

package oprate_hadoop;

import java.io.IOException;
import java.net.URI;
import java.util.Scanner;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.*;

//import java.util.concurrent.TransferQueue;
//import javax.naming.NamingException;
//import org.apache.hadoop.fs.FileStatus;
//import org.apache.commons.collections.bag.SynchronizedSortedBag;


public class Oprate_hadoop {
    /*
    * 列出指定目录下的所有文件
    *
    *  */
    String user = "hadoop";
    //声明操作hadoop的用户，我这里就是当前登录linux的用户
	//这个user会在这行代码中被使用  FileSystem fsSource = FileSystem.get(URI.create("hdfs://localhost:9000"), conf, user);

    public void listfiles(String where) throws IOException, InterruptedException {
        Configuration conf = new Configuration();
        // 获取配置文件对象
        conf.set("fs.defaultFS", "hdfs://localhost:9000");
        conf.set("fs.hdfs.impl", "org.apache.hadoop.hdfs.DistributedFileSystem");

        FileSystem fsSource = FileSystem.get(URI.create("hdfs://localhost:9000"), conf, user);
        // 获取文件系统对象

        try {
            RemoteIterator<LocatedFileStatus> iter = fsSource.listFiles(new Path(where.toString()), true);

            while (iter.hasNext()){
                LocatedFileStatus file = iter.next();
                String Path_file = file.getPath().toString();
                // 获取文件目录
                System.out.println(user + "$:" + Path_file.substring(21));

                //System.out.println(file.getPath().getName());
                // 只获取文件名
            }
        } catch (IOException e) {
            e.printStackTrace();
        }
    }


    /*
    *
    * 创建目录
    *
    * */
    public void mkdir(String name) throws IOException, InterruptedException {
        Configuration conf = new Configuration();
        conf.set("fs.defaultFS", "hdfs://localhost:9000");
        conf.set("fs.hdfs.impl", "org.apache.hadoop.hdfs.DistributedFileSystem");
        FileSystem fsSource = FileSystem.get(URI.create("hdfs://localhost:9000/"), conf, user);

        try {
            fsSource.mkdirs(new Path(name));
        } catch (IOException e) {
            // 创建目录
            e.printStackTrace();
        }
    }


    /**
     * 删除文件
     */
    public void delete(String name, boolean recursive) throws IOException, InterruptedException {
        Configuration conf = new Configuration();
        conf.set("fs.defaultFS", "hdfs://localhost:9000");
        conf.set("fs.hdfs.impl", "org.apache.hadoop.hdfs.DistributedFileSystem");
        FileSystem fsSource = FileSystem.get(URI.create("hdfs://localhost:9000/"), conf, user);

        try {
            fsSource.delete(new Path(name), recursive);
        } catch (IOException e) {
            e.printStackTrace();
        }
    }


    /**
     * 下载文件
     */
    public void download(String src, String dst) throws IOException, InterruptedException {
        Configuration conf = new Configuration();
        conf.set("fs.defaultFS", "hdfs://localhost:9000");
        conf.set("fs.hdfs.impl", "org.apache.hadoop.hdfs.DistributedFileSystem");
        FileSystem fsSource = FileSystem.get(URI.create("hdfs://localhost:9000/"), conf, user);

        try {
            // 下载
            fsSource.copyToLocalFile(new Path(src), new Path(dst));
        } catch (IOException e) {
            e.printStackTrace();
        }
    }


    /**
     * 上传文件
     */
    public void upload(String src, String dst) throws IOException, InterruptedException {
        Configuration conf = new Configuration();
        conf.set("fs.defaultFS", "hdfs://localhost:9000");
        conf.set("fs.hdfs.impl", "org.apache.hadoop.hdfs.DistributedFileSystem");
        FileSystem fsSource = FileSystem.get(URI.create("hdfs://localhost:9000/"), conf, user);

        try {
            // 上传
            fsSource.copyFromLocalFile(new Path(src), new Path(dst));
        } catch (IOException e) {
            e.printStackTrace();
        }
    }


    /**
     * 重命名
     */
    public void rename(String source, String dst) throws IOException, InterruptedException {
        Configuration conf = new Configuration();
        conf.set("fs.defaultFS", "hdfs://localhost:9000");
        conf.set("fs.hdfs.impl", "org.apache.hadoop.hdfs.DistributedFileSystem");
        FileSystem fsSource = FileSystem.get(URI.create("hdfs://localhost:9000/"), conf, user);

        try {
            fsSource.rename(new Path(source), new Path(dst));
        } catch (IOException e) {
            e.printStackTrace();
        }
    }


    public static void main(String[] args) throws IOException, InterruptedException {
        Oprate_hadoop hadoop = new Oprate_hadoop();
        while(true) {
            System.out.println("==============================================");
            System.out.println("\n " +
                    "||\t\t1.查看文件\t\t|| \n " +
                    "||\t\t2.创建目录\t\t|| \n " +
                    "||\t\t3.删除文件\t\t|| \n " +
                    "||\t\t4.下载文件\t\t|| \n " +
                    "||\t\t5.上传文件\t\t|| \n " +
                    "||\t\t6.重命名文件\t\t|| \n");
            System.out.println("==============================================");
            Scanner input = new Scanner(System.in);
            int number = input.nextInt();
            if (number == 1) {
                hadoop.listfiles("/");
            }
            else if (number == 2) {
                System.out.println("请输入目录地址");
                System.out.print("hdfs$:");
                Scanner name = new Scanner(System.in);
                String file = name.nextLine();
                hadoop.mkdir(file);
            }
            else if(number == 3) {
                System.out.println("请输入要删除的文件名称");
                Scanner name = new Scanner(System.in);
                String file = name.nextLine();
                hadoop.delete(file, true);
            }
            else if(number == 4) {
                System.out.println("请输入要下载的文件目录");
                Scanner name = new Scanner(System.in);
                String file = name.nextLine();
                System.out.println("请输入要存放在本地的目录");
                Scanner name2 = new Scanner(System.in);
                String dst = name2.nextLine();
                hadoop.download(file, dst);
            }
            else if(number == 5) {
                System.out.println("请输入上传文件的位置");
                Scanner name = new Scanner(System.in);
                String file = name.nextLine();
                System.out.println("请输入上传的目标位置");
                Scanner name2 = new Scanner(System.in);
                String dst = name2.nextLine();
                hadoop.upload(file, dst);
            }
            else if(number == 6) {
                System.out.println("请输入需要改名的文件");
                Scanner name = new Scanner(System.in);
                String file = name.nextLine();
                System.out.println("请输入新名字");
                Scanner name2 = new Scanner(System.in);
                String dst = name2.nextLine();
                hadoop.rename(file, dst);
            }
        }
    }
}
李八御
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
专栏目录
java通过api方式操作Hadoop
09-23
该资源是java通过api的方式来操作hadoop，主要有以下操作： 一.文件操作 1.上传本地文件到hadood 2.在hadoop中新建文件，并写入 3.删除hadoop上的文件 4.读取文件 5.文件修改时间 二.目录操作 1.在hadoop上创建目录 2.删除目录 3.读取某个目录下的所有文件 三.hdfs信息 1.查找某个文件在HDFS集群中位置 2.获取HDFS集群上所有名称节点信息
Linux__hadoop免密登录&JavaToJDFS
lhy857的博客
04-19 190
配置ssh免登陆 生成ssh免登陆密钥 cd ~，进入到我的home目录 cd .ssh/ ssh-keygen -t rsa （四个回车） 执行完这个命令后，会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥） 将公钥拷贝到要免登陆的机器上 cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys cat是查看 或 ssh-copy-id -i localhost 关闭所有 stop-all.sh 开启所有 start-all.shhadoo
java 运用hadoop
最新发布
weixin_32528123的博客
06-30 46
Java运用Hadoop技术 简介 Hadoop是一个由Apache基金会开发的开源分布式计算系统，可用于处理大规模数据。Hadoop主要由Hadoop Distributed File System（HDFS）和MapReduce两个核心模块组成。在Java开发中，我们可以利用Hadoop来处理大规模数据，实现分布式计算...
Hadoop-day05(java操作hadoop)
weixin_48370579的博客
05-26 156
Java操作Hadoop 步骤一：创建父类maven项目 在父类项目中的 pom 文件中配置如下，同一版本号，然后子类供给子类使用 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www....
Hadoop API使用
weixin_30672295的博客
10-16 61
原文地址；http://hi.baidu.com/befree2008wl/blog/item/dcbe864f37c9423caec3ab7b.html Hadoop API被分成（divide into）如下几种主要的包（package） org.apache.hadoop.conf 定义了系统参数的配置文件处理API。 org.apache.hadoop.fs 定义了抽象的文件系...
java操作hadoop
kdb_viewer的博客
09-26 982
这里使用hadoop权威指南中max_temperature示例，使用java操作hadoop和c++类似，只是语言和api级别的差异，也需要3个组件：一个继承自Mapper的类，一个继承自Reducer的类，和作业处理的主流程。可以写在一个.java文件里面，也可以写在3个里面，这里写在3个java文件中。java和c++在运行作业的时候比较大的一个差异是，c++将可执行文件和input都放在h...
Java-API-Operate-Hadoop.rar_hadoop_hadoop api
09-14
首先，我们关注的是`HadoopFSOperations.java`文件，这通常是一个包含Java代码的文件，展示了如何使用Hadoop的文件系统API来执行各种操作。例如，这个程序可能包含以下功能： 1. **连接HDFS**：通过`FileSystem`类...
hdfs_design.rar_HDFS-OPERATE_hadoop_hadoop java_hdfs
09-23
在“hdfs_operate”这部分，你将了解到如何通过Hadoop的命令行工具或者Java API来操作HDFS。例如，使用`hadoop fs -put`命令将本地文件上传到HDFS，使用`hadoop fs -get`下载文件，`hadoop fs -rm`删除文件，以及...
基于Java的Hadoop分布式文件系统API操作设计源码
06-07
本项目为“基于Java的Hadoop分布式文件系统API操作设计源码”，包含51个文件，其中包括37个Java源文件、10个XML配置文件、2个Properties配置文件、1个Gitignore忽略配置文件、1个Markdown文档。该系统利用Java语言...
Mapreduce实现KNN算法和K-means算法.zip_bottleudc_hadoop_java_mapReduce_p
09-23
关于Hadoop和Java的使用，MapReduce的编程接口是用Java实现的，因此需要开发者具备一定的Java编程基础。Hadoop提供了MapReduce的API，包括Mapper和Reducer接口，以及JobConf配置对象。开发者需要定义Mapper和Reducer...
java 连接hadoop集群_JAVA API连接HDFS HA集群
weixin_39815286的博客
02-25 1071
使用JAVA API连接HDFS时我们需要使用NameNode的地址,开启HA后,两个NameNode可能会主备切换,如果连接的那台主机NameNode挂掉了,连接就会失败. HDFS提供了nameservices的方式进行访问,这样只要有一个NameNode活着,都可以正常访问.HDFS NameNode HA在没有HA的环境中,通常使用NameNode hostname访问HDFS的URL.h...
Java API操作Hadoop文件
04-08
NULL 博文链接：https://anna66.iteye.com/blog/1605502
java操作Hadoop源码之HDFS Java API操作-创建目录
01-17
java操作Hadoop源码之HDFS Java API操作-创建目录，附带所需全部jar包，欢迎下载学习。
hadoop的java_api
02-15
凡是hadoop2.x以上版本都可以使用这个导入包，下载后直接将里面的所有文件直接导入到需要使用hadoop接口的项目里就好
java操作hadoop的hdfs的各种操作
03-28
java操作hadoop的hdfs的各种操作，包括文件创建，删除，文件夹创建，上传文件，下载文件，读取文件等
Hadoop学习笔记（三）：java操作Hadoop
banuoyin3229的博客
09-28 120
1.启动hadoop服务。 2.hadoop默认将数据存储带/tmp目录下，如下图： 由于/tmp是linux的临时目录，linux会不定时的对该目录进行清除，因此hadoop可能就会出现意外情况。下面对这个配置进行修改。修改core-site.xml文件vim /usr/local/hadoop/etc/hadoop/core-site.xml将这个值修改到/var...
9.4 使用java操作hadoop
weixin_45355124的博客
09-04 757
操作前准备 1、新建maven项目 2、引入jar包 <!-- 引入hadoop-common Jar包 --> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-common</artifactId> <version>2.6.0</version> </depen
java使用hadoop_java第一次调用 Hadoop Java API
weixin_35761085的博客
02-12 123
环境：Hadoop1.2.1例：直接使用FileSystem以标准输出格式显示Hadoop文件系统中的文件编写JAVA文件import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;import org.apache.hadoo...
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值