package com.bpf.hdfs;
import java.io.FileInputStream;
import java.io.FileOutputStream;
import java.io.IOException;
import java.net.URI;
import org.apache.commons.io.IOUtils;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.junit.Before;
import org.junit.Test;
/* 用流的方式来操作HDFS上的文件
* 可以实现读取制定偏移量范围的数据
* */
public class HdfsStreamAccess {
FileSystem fs = null;
Configuration conf = null;
//初始化,建立与HDFS的连接
@Before
public void init() throws Exception {
conf = new Configuration();
fs = FileSystem.get(new URI("hdfs://Master:9000"), conf);
}
//流的方式上传文件
@Test
public void testUpload() throws IllegalArgumentException, IOException {
FSDataOutputStream outputStream = fs.create(new
用流的方式操作HDFS文件 JAVA API
最新推荐文章于 2024-05-12 15:42:36 发布