hadoop实战之HDFS常用JavaAPI

1、使用URL读取数据

import java.io.IOException;
import java.io.InputStream;
import java.net.MalformedURLException;
import java.net.URL;

import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.FsUrlStreamHandlerFactory;
import org.apache.hadoop.io.IOUtils;

public class readURL {
	static{
		//使URL可以解析hdfs,这个方法在一个jvm中只能调用一次
		URL.setURLStreamHandlerFactory(new FsUrlStreamHandlerFactory());
	}
	public static void main(String[] args) {
		InputStream in = null;
		try {
			in = new URL("hdfs://localhost:9000/user/readme.txt").openStream();
			IOUtils.copyBytes(in, System.out, 4096,false);//第三个参数为复制缓冲区大小,第四个参数复制后是否关闭数据流
		} catch (MalformedURLException e) {
			e.printStackTrace();
		} catch (IOException e) {
			e.printStackTrace();
		} finally {
			IOUtils.closeStream(in);
		}	
	}
}

上面程序中的static语句块如故不写就如出现以下错误:
  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
HDFSHadoop分布式文件系统)是Hadoop生态系统中的核心组件,用于在分布式环境下存储和处理大规模数据。HDFS支持多种编程语言的API,其中Java是最常用的。 HDFSJava API提供了一系列类和方法,可以方便地对HDFS进行读写操作。下面是一些常用HDFS Java API及其应用实例: 1. Configuration类:用于加载Hadoop配置文件,创建和管理配置对象。可以通过Configuration类的方法设置HDFS的各种参数,比如文件块大小、副本数等。 2. FileSystem类:用于操作HDFS中的文件和目录。可以通过FileSystem类创建、删除和重命名文件,也可以读写文件中的内容。以下是一个示例代码: ```java import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; public class HdfsExample { public static void main(String[] args) { try { // 加载Hadoop配置文件 Configuration conf = new Configuration(); // 创建FileSystem对象 FileSystem fs = FileSystem.get(conf); // 在HDFS创建一个新文件 Path filePath = new Path("/user/hadoop/test.txt"); fs.create(filePath); // 写入文件内容 String content = "Hello, HDFS!"; byte[] bytes = content.getBytes(); fs.writeFile(filePath, bytes); // 读取文件内容 byte[] buffer = new byte[1024]; int bytesRead = fs.open(filePath).read(buffer); String fileContent = new String(buffer, 0, bytesRead); System.out.println("文件内容:" + fileContent); // 删除文件 fs.delete(filePath); // 关闭FileSystem对象 fs.close(); } catch (Exception e) { e.printStackTrace(); } } } ``` 以上示例代码演示了如何使用HDFS Java API创建、写入、读取和删除文件。 除了以上的常用APIHDFSJava API还提供了许多其他的类和方法,用于实现更复杂的操作,比如文件复制、权限管理、检查点等。开发者可以根据自己的需求选择适合的API进行使用。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值