Configured

最新推荐文章于 2023-08-26 01:01:05 发布

爱你魔力转圈圈

最新推荐文章于 2023-08-26 01:01:05 发布

阅读量487

点赞数

分类专栏： bigdata 文章标签： Configured

本文链接：https://blog.csdn.net/qq_42706464/article/details/103450512

版权

bigdata 专栏收录该内容

70 篇文章 1 订阅

订阅专栏

本文介绍如何使用Hadoop API在Hadoop集群上写入文件。通过具体代码示例，详细展示了Configuration和FileSystem类的使用，以及如何从本地文件系统读取数据并将其写入到Hadoop的分布式文件系统中。

摘要由CSDN通过智能技术生成

Configuration、FileSystem

小白写博客，在hadoop集群写入文件，看完configuration和configured等的源码之后的心德小白第一天写博客在这里插入图片描述

hadoop集群写入文件

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.conf.Configured;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.util.Tool;
import org.apache.hadoop.util.ToolRunner;

/**
 * hadoop jar   Hadoop_test-1.0-SNAPSHOT.jar  com.jxlg.hdfs.ConfigHdfs
 * -D input=/etc/passwd -D  output=passwd/passwd.txt
 *
 */
import java.io.FileInputStream;
import java.io.OutputStream;

public class ConfigHdfs extends Configured implements Tool {
    @Override
    public int run(String[] strings) throws Exception {
        Configuration conf=getConf();
        String input =conf.get("input");
        String output=conf.get("output");
       FileSystem fs = FileSystem.get(conf);

        FileInputStream fis=new FileInputStream(input);
        OutputStream os=fs.create(new Path(output));
        byte []b=new byte[1024];
        int len;

        while((len=fis.read(b))!=-1){
            os.write(b,0,len);
            os.flush();
        }
        if(os!=null)os.close();
        if(fis!=null)fis.close();
        return 0;
    }
    public  static void main(String[] args) throws Exception {
       int n= new ToolRunner().run(new ConfigHdfs(),args);
       System.exit(n);

    }
}