详细介绍hdfs基础篇--Java API的方式来操作HDFS上的数据

打开IntelliJ IDEA 2018.2.2 x64

创建mvven工程

一 、向hdfs文件系统的写入文件

在pom.xml中添加Hadoop相关架包:
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-common</artifactId>
<version>2.6.0</version>
</dependency>
<!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-client -->
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-client</artifactId>
<version>2.6.0</version>
</dependency>
<!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-hdfs -->
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-hdfs</artifactId>
<version>2.6.0</version>
</dependency>
<dependency>
<groupId>commons-logging</groupId>
<artifactId>commons-logging</artifactId>
<version>1.2</version>
</dependency>
如下图所示:

在这里插入图片描述
在这里插入图片描述

package com.kgc.hdfs;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

import java.io.FileInputStream;
import java.io.IOException;
//向hdfs文件系统的写入文件
public class TestHDFS {
    public static void writeToHDFS(String hdfsFile,//hdfs文件
                                   String hdfsURL,//hdfs地址,默认主节点
                                   String fileName//本机文件
                                   ) throws IOException {
        Configuration configuration = new Configuration();//设置配置对象
        configuration.set("fs.defaultFs","hdfsURL");
        //获取文件
        FileSystem fileSystem = FileSystem.get(configuration);
        //判断文件是否存在,存在则写入
        if (fileSystem.exists(new Path(hdfsFile))){
            //读出来
            FSDataOutputStream fsDataOutputStream = fileSystem.create(new Path(hdfsFile));
            //将文件装到hdfs中
            FileInputStream fis = new FileInputStream(fileName);
            byte [] bytes = new byte[1024];
            //首次读
            int count = fis.read(bytes,0,1024);//最开始读到1024
            while (count>0){//读到
                fsDataOutputStream.write(bytes,0,1024);//读到的写入
                count = fis.read(bytes,0,1024);//前面的流读过,重新对下一个读
            }
            //关流
            fis.close();
            fsDataOutputStream.close();
            fileSystem.close();
        }

    }

    public static void main(String[] args) throws IOException {
        writeToHDFS(args[0],args[1],args[2]);
    }
}

注意:选择apach下的Hadoop
在这里插入图片描述

打架包

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

打完之后:可以看到生成的架包

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
拖到虚拟机目录
在这里插入图片描述

虚拟机的操作:

在这里插入图片描述
在这里插入图片描述
网页验证
在这里插入图片描述
读文件完成

虚拟机查看

在这里插入图片描述

二、向hdfs写入linux系统本地文件,其余操作和‘一’相同


package HDFS.hdfs;
 
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
 
import java.io.FileInputStream;
import java.io.IOException;
 
public class WriteToHdfs {
    public static void writeToHdfs(String hdfsFile,String hdfsUrl,String fileName) throws IOException {
        Configuration cfg=new Configuration();
        cfg.set("fs.defaultFS",hdfsUrl);
        FileSystem fs = FileSystem.get(cfg);
        //hdfs存在才可以写入
        if (fs.exists(new Path(hdfsFile))) {
            FSDataOutputStream fsdos = fs.create(new Path(hdfsFile));
            FileInputStream fis = new FileInputStream(fileName);
            byte[] bytes=new byte[2048];
            //首次读
            int count=fis.read(bytes,0,2048);
            while (count>0){
                fsdos.write(bytes,0,count);
                count=fis.read(bytes,0,2048);
            }
            fis.close();
            fsdos.close();
            fs.close();
        }
    }
 
    public static void main(String[] args) throws IOException {
        writeToHdfs(args[0],args[1],args[2]);
    }
}

展开阅读全文
©️2020 CSDN 皮肤主题: 深蓝海洋 设计师: CSDN官方博客 返回首页
实付0元
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值