Hadoop 读写IO 程序解析

本文所涉及的Hadoop的文件系统主要是HDFS，通过JavaAPI的方式和HDFS进行交互。

创建一个空的Maven工程

通过Idea创建一个空的Maven工程，创建完毕以后，由于pom中未定义任何的组件，没有编写相关的代码，所以工程没有实质的内容。 读取HDFS需要使用org.apache.hadoop的相关jar包，具体使用那些包和程序代码相关，但是需要留意的是下载的包的版本，最好和需要访问的hdfs不要间隔太远，否则会提示版本不兼容的问题。
下面为项目中使用的pom文件：

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>com.lst</groupId>
    <artifactId>hadoop</artifactId>
    <version>1.0</version>
    <url>http://maven.apache.org</url>

    <dependencies>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-common</artifactId>
            <version>2.7.3</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-hdfs</artifactId>
            <version>2.7.4</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</artifactId>
            <version>2.7.1</version>
        </dependency>

        <dependency>
            <groupId>junit</groupId>
            <artifactId>junit</artifactId>
            <version>3.8.1</version>
            <scope>test</scope>
        </dependency>
    </dependencies>

</project>

增加完毕pom文件后，Idea将自动下载对应的jar包，然后在src->java中增加对应的IO读写类。
既然加载了那么多包，当然是要使用，因此在文件的开始，先将这些文件import 进来：

package com.lst.hdfs;

import java.io.IOException;
import java.net.URI;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FSDataOutputStream;

编写读写方法

写方法

public void WriteFile(String hdfs) throws IOException {
        /*
        *
        * */
        Configuration conf = new Configuration();
        FileSystem fs = FileSystem.get(URI.create(hdfs),conf);
        FSDataOutputStream hdfsOutStream = fs.create(new Path(hdfs));
        hdfsOutStream.writeChars("hello");
        hdfsOutStream.close();
        fs.close();
    }

上述代码的第一句：Configuration conf = new Configuration(); 主要为加载hdfs的配置文件，在本文的代码中，使用的是读取默认位置(/etc/hadoop/)的配置文件（core-site.xml,hdfs-site.xml）。
第2句：FileSystem fs = FileSystem.get(URI.create(hdfs),conf); FileSystem 是一个通用的文件系统API，这里主要是获取需要使用的文件系统的实例。获取了文件系统实例之后，就可以进行第三步，调用open函数啊来获取文件的输入流了。这里的hdfsOutStream就是返回的一个写入数据的输出流对象，这里的create方法可以自动创建当前不存在的文件。
获取到了写入流以后就很简单了，直接写入数据即可。写完毕以后关输出流。

public void ReadFile(String hdfs) throws IOException {
        Configuration conf = new Configuration();
        FileSystem fs = FileSystem.get(URI.create(hdfs),conf);
        FSDataInputStream hdfsInStream = fs.open(new Path(hdfs));

        byte[] ioBuffer = new byte[1024];
        int readLen = hdfsInStream.read(ioBuffer);
        while(readLen!=-1)
        {
            System.out.write(ioBuffer, 0, readLen);
            readLen = hdfsInStream.read(ioBuffer);
        }
        hdfsInStream.close();
        fs.

与写文件类似，这里唯一的区别就是wirte变成了read,然后将读到的内容显示出来。
最后添加一个main函数：

public static void main(String[] args) throws IOException {
        String hdfs = "hdfs://192.168.56.112:9000/test/hello.txt";
        hdfs_rw t = new hdfs_rw();
        t.WriteFile(hdfs);
        t.ReadFile(hdfs);
    }

转载于:https://www.cnblogs.com/angellst/p/7536254.html