hadoop hdfs 应用API --HDFSUtil

本文档介绍了如何使用HDFSUtil工具类进行Hadoop HDFS文件系统的操作,包括读写文件、管理文件等核心功能。
摘要由CSDN通过智能技术生成

HDFSUtil

package com.zhph.hadoop;

import java.io.BufferedOutputStream;
import java.io.BufferedReader;
import java.io.BufferedWriter;
import java.io.File;
import java.io.FileOutputStream;
import java.io.FileReader;
import java.io.FileWriter;
import java.io.IOException;
import java.io.InputStream;
import java.io.OutputStream;
import java.sql.Connection;
import java.sql.PreparedStatement;
import java.sql.ResultSet;
import java.sql.SQLException;
import java.text.SimpleDateFormat;
import java.util.Date;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.FileUtil;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;

/**
 * @ClassName:HDFSUtil
 * @Description:hadoop hafs 文件操作工具类
 * @company:zhph
 * @author Even
 * @date 2016年7月27日 下午2:00:51
 */
public class HDFSUtil {
   

    private static Configuration conf = new Configuration();

    static {
        conf.addResource("hdfs.xml");

        // 代码配置环境变量,以免报 " Could not locate executable null\bin\winutils.exe in the Hadoop binaries."异常,其实不会影响功能
        System.setProperty("hadoop.home.dir", "D:\\hadoop\\hadoop-2.4.0");
    }

    /**
     * @Title: uploadFileFromLocation
     * @param: in 上传文件输入流
     * @param: filePath 文件上传到hdfs上的保存路径("/upload/")
     * @param: fileName 文件名字
     * @return:void
     * @Description:TODO 上传文件到dataNode
     * @author Even
     * @date 2016年7月27日 下午2:03:37
     * @throws
     */
    public static void uploadFileFromLocation(InputStream in, String filePath) {
        FileSystem fs = null;
        FSDataOutputStream out = null;
        try {
            fs = FileSystem.get(conf);
            Path path = new Path(filePath);
            out = fs.create(path);
            fs.setReplication(path, (short)2); // 在hdfs集群上保存的份数,2份
            IOUtils.copyBytes(in, out, 1024);
        } catch (IOException e) {
            e.printStackTrace();
        } finally {
            try {
                in.close();
                out.flush();
                out.close();
                fs.close();
            } catch (Exception e) {
                e.printStackTrace();
            }
        }
    }

    /**
     * @Title: downLoadFile
     *
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值