hadoop用HDFS java api在HDFS上创建文件

本文档详细介绍了如何在IntelliJ IDEA中创建一个项目,使用Hadoop HDFS Java API来创建文件。步骤包括创建Mkdir类,打包成jar,上传到服务器,并编写shell脚本来执行HDFS的mkdir命令。最后,解决了执行脚本时遇到的路径问题。
摘要由CSDN通过智能技术生成

 

目录

1.在IDER中创建一个项目引入相关包

2.创建一个Mkdir类

3.将项目打成可运行的jar包,并上传到服务器

3.1 首先在设置中找到项目结构然后打开如下对话框

3.2 创建一个工件,如下图所示

3.3 执行构建命令

3.4 查看构建好的jar包

3.5 将jar包上传到服务器并运行

4.实现脚本

4.1 编写脚本

4.2 测试验证脚本

4.3​​​​​​​ 解决去掉“./myhdfs”前面的“./”无法执行问题

5.总结


1.在IDER中创建一个项目引入相关包

     

2.创建一个Mkdir类

  代码如下:

  

package i.hadoop.hdfs;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

import java.io.IOException;

public class MKdir {
    public static void main(String[] args)throws IOException{
     if(args.length == 0){
         System.out.println("ERROR 创建文件夹失败! 请传入一个路径参数作为将要创建的文件夹");
         return;
     }
     String targetDir = args[0];

        Configuration conf = new Configuration();

        conf.set("fs.defaultFS","hdfs://192.168.124.38:9000/");

        FileSystem fs = FileSystem.get(conf);
        boolean mkdirs = fs.mkdirs(new Path(targetDir));
        if (mkdirs){
            System.out.println("成功在HDFS上创建"+targetDir);
        }
        fs.close();
    }


}

记得改一下自己虚拟机的ID在代码:conf.set("fs.defaultFS","hdfs://192.168.124.38:9000/");

3.将项目打成可运行的jar包,并上传到服务器

   3.1

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值