[小试牛刀] - Hadoop文件操作

最新推荐文章于 2019-09-23 17:13:22 发布

紫守笨

最新推荐文章于 2019-09-23 17:13:22 发布

阅读量533

点赞数

分类专栏： java hadoop 文章标签： hadoop dfs 分布式文件系统 url

本文链接：https://blog.csdn.net/program_red/article/details/54315236

版权

java 同时被 2 个专栏收录

9 篇文章 0 订阅

订阅专栏

hadoop

4 篇文章 0 订阅

订阅专栏

博由

    上一篇简单操作了一下WordCount的实现，第一个Hadoop程序；在Hadoop中比较核心内容有：
    [1] dfs 分布式文件系统
    [2] MapReduce 
    主要想了解一下Hadoop的分布式文件系统。

HDFS

    HDFS：Hadoop Distribute File System(Hadoop分布式文件系统)；
    文件系统结构是Master/Slave结构。
    [1] NameNode: 担当的就是Master节点，一个集群只有一个NameNode，其主要负责管理命名空间、block隐射关系、配置副本策略、处理客户端请求等功能。
    [2] SecondaryNameNode: 是Master的一个冷备份，与NameNode进行通讯以降低当NameNode出现故障时，可以降低损失。
    [3] DataNode: Slave节点，或者说是工作节点，是真实block块存放的地方；
    目前在初级阶段，但是可以分为read和write两种方式，来描述hdfs集群的运行结构，这里直接介绍java代码的操作和命令行的操作，之后再了解一下read/write client,Namenode,DataNode是如何交互的。

URL访问方式

package com.hadoop.hello.io;

import org.apache.hadoop.fs.FsUrlStreamHandlerFactory;
import org.apache.hadoop.io.IOUtils;

import java.io.IOException;
import java.io.InputStream;
import java.net.MalformedURLException;
import java.net.URL;

/**
 * 通过java.net.URL操作文件流，需要特别注意的是默认URL无法识别hdfs协议的文件，
 * 需要设置URL流的处理方式，使用FsURLSteamHandlerFactory工厂来识别处理。但是
 * 这里会又一个比较大的缺陷就是：
 * URL.setURLStreamHandlerFactory 只能设置一次在一个jvm环境下，因此如果有其他地方设置了
 * URL.setURLStreamHandlerFactory 那么意味着无法无法处理
 * Created by wangzhiping on 17/1/10.
 */
public class ReadFromHadoopByNetUrl {
    static {
        // 设置URL Stream处理器工厂
        URL.setURLStreamHandlerFactory(new FsUrlStreamHandlerFactory());
    }
    public static void main(String[] args){
        InputStream in = null;
        try {
            // 如果直接使用URL无法识别hdfs协议，需要设置
            in = new URL("hdfs://localhost:9000/test/test.txt").openStream();
            IOUtils.copyBytes(in, System.out, 4096, false);
        } catch (MalformedURLException e) {
            e.printStackTrace();
        } catch (IOException e) {
            e.printStackTrace();
        } finally {
            if (in != null) {
                try {
                    in.close();
                } catch (IOException e) {
                    e.printStackTrace();
                }
            }
        }

    }
}

    通过java.net.URL访问，但是hdfs协议默认情况下URL无法识别，此时必须设置URL.setURLStreamHandlerFactory为Hadoop的UrlStreamHandlerFactory，但是
`public static void setURLStreamHandlerFactory(URLStreamHandlerFactory fac) {
        synchronized (streamHandlerLock) {
            if (factory != null) {
                throw new Error("factory already defined");
            }
            SecurityManager security = System.getSecurityManager();
            if (security != null) {
                security.checkSetFactory();
            }
            handlers.clear();
            factory = fac;
        }
}    
`每一个JVM一旦被设置了就不能别覆盖，因此如果应用中存在其他URLStreamHandlerFactory的设置，那么这种方法就无法使用了。

FileSystem

Hadoop提供了FileSystem类来操作HDFS，具体使用方式如下：
`
package com.hadoop.hello.io;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.hdfs.DistributedFileSystem;
import org.apache.hadoop.io.IOUtils;

import java.io.IOException;
import java.io.InputStream;
import java.net.URI;
import java.net.URISyntaxException;

/**
 * Created by wangzhiping on 17/1/10.
 */
public class ReadFromHadoopByFlieSystem {

    public static void main(String[] args) {

        InputStream in = null;

        // 构建Hadoop配置类，会默认加载core-site.xml,core-default.xml等配置文件
        Configuration cfg = new Configuration();
        FileSystem fs = null;
        try {
            // 这里必须使用URI来解析schema为hdfs,默认是file:// ,fs.defaultFS，会根据hdfs从core-site.xml
            // 和 core-default.xml 找 fs.hdfs.impl
            /**
             * <property>
             *      <name>fs.hdfs.impl</name>
             *      <value>org.apache.hadoop.hdfs.DistributedFileSystem</value>
             *      <description>The FileSystem for hdfs: uris.</description>
             * </property>
             */
            fs = FileSystem.get(new URI("hdfs://localhost:9000/"), cfg);
            if(fs instanceof DistributedFileSystem){
                // fs返回就是这个类
                System.out.print("------dfs-----");
            }
            in = fs.open(new Path("hdfs://localhost:9000/test/test.txt"));
            IOUtils.copyBytes(in, System.out, 4096, false);
        } catch (IOException e) {
            e.printStackTrace();
        } catch (URISyntaxException e) {
            e.printStackTrace();
        } finally {
            IOUtils.closeStream(fs);
            IOUtils.closeStream(in);
        }

    }
}
`
通过FileSystem.get获取FileSystem实例，实际上内部是反射机制创建了DistributeFileSystem类.
`
public static FileSystem get(URI uri, Configuration conf) throws IOException {
    // 根据给出的hdfs Master地址,解析出协议和机构
    String scheme = uri.getScheme();
    String authority = uri.getAuthority();
    // 默认是fs.defaultFS 也就是file://
    if (scheme == null && authority == null) {     // use default FS
      return get(conf);
    }

    if (scheme != null && authority == null) {     // no authority
      URI defaultUri = getDefaultUri(conf);
      if (scheme.equals(defaultUri.getScheme())    // if scheme matches default
          && defaultUri.getAuthority() != null) {  // & default has authority
        return get(defaultUri, conf);              // return default
      }
    }
    // fs.hdfs.impl.disable.cache 是一个xml配置在core-site.xml或者依赖包中的core-default.xml

    String disableCacheName = String.format("fs.%s.impl.disable.cache", scheme);
    if (conf.getBoolean(disableCacheName, false)) {
      // 这里就是反射创建DistributeFileSystem
      return createFileSystem(uri, conf);
    }
    return CACHE.get(uri, conf);
  }
`
`
private static FileSystem createFileSystem(URI uri, Configuration conf
      ) throws IOException {
    // 这里会找fs.hdfs.impl 的实现类是那个，其配置是在core-default.xml
    Class<?> clazz = getFileSystemClass(uri.getScheme(), conf);
    FileSystem fs = (FileSystem)ReflectionUtils.newInstance(clazz, conf);
    fs.initialize(uri, conf);
    return fs;
}
`

获取FileSystem实例之后，就可以进行hdfs相关操作，如下代码简单罗列了一些基本操作，创建文件、删除文件、移动文件等等。

package com.hadoop.hello.io;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileChecksum;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.fs.permission.FsPermission;
import org.apache.hadoop.io.IOUtils;

import java.io.FileInputStream;
import java.io.IOException;
import java.io.InputStream;
import java.io.OutputStream;
import java.net.URI;
import java.net.URISyntaxException;
import java.util.HashMap;
import java.util.Map;

/**
 * Hadoop Distributed File System
 * FS Shell
 * Created by wangzhiping on 17/1/11.
 */
public class FileCmdOnHadoop {

    public final static Configuration cfg = new Configuration();

    public static FileSystem fs = null;

    public final static String HADOOP_URI = "hdfs://localhost:9000";


    static {
        try {
            fs = FileSystem.get(new URI(HADOOP_URI), cfg);
        } catch (IOException e) {
            e.printStackTrace();
        } catch (URISyntaxException e) {
            e.printStackTrace();
        }
    }

    public static void closeFileSystem(){
        IOUtils.closeStream(fs);
    }

    /**
     * hadoop fs -moveFromLocal <localsrc> <dist>
     * @param src
     * @param dist
     */
    public static void moveFromLocal(String src, String dist) {
        try {
            fs.moveFromLocalFile(new Path(src), new Path(dist));
        } catch (IOException e) {
            System.out.println("moveLocalToHadoop, exception: " + e);
            e.printStackTrace();
        }
    }

    /**
     * 对应hadoop fs -appendToFile <localsrc> <dist>命令
     * 将文件内容条件到目标文件的末尾，可以同时添加多个文件
     * @param dist: 目标文件
     * @param srcs: 源文件列表
     */
    public static void appendToFile(String dist, String... srcs) {

        InputStream in = null;
        OutputStream out = null;
        try {
            out = fs.append(new Path(dist));
            for (String src : srcs) {
                in = new FileInputStream(src);
                IOUtils.copyBytes(in, out, in.available(), false);
            }

        } catch (IOException e) {
            e.printStackTrace();
        } finally {
            IOUtils.closeStream(in);
            IOUtils.closeStream(out);
        }

    }

    /**
     * 读取文件内容并查看
     * 对应hadoop fs -cat src
     */
    public static void cat(String hdfsPath){
        InputStream in = null;
        try {
            in = fs.open(new Path(hdfsPath));
            IOUtils.copyBytes(in, System.out, in.available(), false);
        } catch (IOException e) {
            e.printStackTrace();
        } finally {
            IOUtils.closeStream(in);
        }
    }


    /**
     * 新建文件夹
     * hadoop fs -mkdir
     * @param path
     */
    public static boolean mkdirs(String path) {
        try {
            // 或者通过FsPermession第二个参数，设置文件权限
            return fs.mkdirs(new Path(path));
        } catch (IOException e) {
            e.printStackTrace();
        }
        return false;
    }

    /**
     * 删除文件夹
     * hadoop fs -rmdir
     * @param path
     * @return
     */
    public static void rmdir(String path, boolean recursive) {
        try {
            // 删除文件或者文件夹，第二个参数等价于 -r
            fs.delete(new Path(path), recursive ? true : false);
        } catch (IOException e) {
            e.printStackTrace();
        }
    }

    /**
     * 创建文件
     * @param path
     */
    public static void touchz(String path){

        OutputStream out = null;
        try {
            out = fs.create(new Path(path));
        } catch (IOException e) {
            e.printStackTrace();
        } finally {
            IOUtils.closeStream(out);
        }
    }

    public static void main(String[] args) {
        moveFromLocal("/Users/wangzhiping/java_error_in_idea_4468.log", "/test");
        appendToFile("/test/test.txt", "/Users/wangzhiping/test.txt");
        cat("/test/test.txt");
        mkdirs("/test/mkdir_test");
        rmdir("/test/mkdir_test", false);
        touchz("/test/touchz.txt");
    }
}
还有很多的API，其实看下FileSystem源码，就很容易使用了，一点都不难。

pom.xml配置

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>hadoop-learn</groupId>
    <artifactId>hello</artifactId>
    <version>1.0-SNAPSHOT</version>


    <properties>
        <hadoop.version>2.7.1</hadoop.version>
    </properties>

    <dependencies>

        <!-- 操作hdfs文件系统时，需要引入该包 -->
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-hdfs</artifactId>
            <version>${hadoop.version}</version>
        </dependency>

        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-mapreduce-client-common</artifactId>
            <version>${hadoop.version}</version>

        </dependency>

        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</artifactId>
            <version>${hadoop.version}</version>
        </dependency>

        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-common</artifactId>
            <version>${hadoop.version}</version>
        </dependency>

        <!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-core 
            注意包引入顺序必须是hadoop-common在前，hadoop-core在后，不然会报错，找不到NoSuchMethod，这个折腾死我了，看了源码才发现还有这一出，因为他们存在相同的类名和包名。
        -->
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-core</artifactId>
            <version>1.2.1</version>
        </dependency>
    </dependencies>

</project>

附包图片：注意坑
这里写图片描述

参考

[1] https://hadoop.apache.org/docs/r1.0.4/cn/hdfs_design.html
[2] http://www.cnblogs.com/laov/p/3434917.html

紫守笨

关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
[小试牛刀] - Hadoop文件操作

博由HDFSURL访问方式FileSystempomxml配置参考博由上一篇简单操作了一下WordCount的实现，第一个Hadoop程序；在Hadoop中比较核心内容有： [1] dfs 分布式文件系统 [2] MapReduce 主要想了解一下Hadoop的分布式文件系统。HDFS HDFS：Hadoop Distribute File Sys
复制链接

扫一扫