hadoop学习(三) HDFS 的 java 访问接口

最新推荐文章于 2022-11-03 11:29:00 发布

codeing_doc

最新推荐文章于 2022-11-03 11:29:00 发布

阅读量836

点赞数 1

分类专栏： hadoop 文章标签： java操作HDFS

本文链接：https://blog.csdn.net/u010391342/article/details/82692663

版权

要使用宿主机中的 java 代码访问客户机中的 hdfs，需要保证以下几点

确保宿主机与客户机的网络是互通的确保宿主机和客户机的防火墙都关闭，因为很多端口需要通过，为了减少防火墙配置，直接关闭
确保宿主机与客户机使用的 jdk 版本一致。如果客户机使用 jdk6，宿主机使用 jdk7，那么代码运行时会报不支持的版本的错误
宿主机的登录用户名必须与客户机的用户名一直。比如我们 linux 使用的是 root 用户，那么 windows 也要使用 root
用户，否则会报权限异常在 eclipse 项目中覆盖 hadoop 的 org.apache.hadoop.fs.FileUtil 类的
checkReturnValue 方法，目的是为了避免权限错误

HDFS Api常用类

configuration类：此类封装了客户端或服务器的配置，通过配置文件来读取类路径实现（一般是core-site.xml）。
FileSystem类：一个通用的文件系统api，用该对象的一些方法来对文件进行操作。
FSDataInputStream：HDFS的文件输入流，FileSystem.open()方法返回的即是此类。
FSDataOutputStream：HDFS的文件输入出流，FileSystem.create()方法返回的即是此类。

package com.example;
import java.io.ByteArrayInputStream;
import java.io.File;
import java.io.IOException;
import java.net.URI;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;
/**
 * http://hadoop.apache.org/docs/r2.7.3/api/index.html（api地址）
 * 
 * 
 * https://blog.csdn.net/snwdwtm/article/details/78242805
 * 
 * 该类含有操作 HDFS 的各种方法，类似于 jdbc 中操作数据库的直接入口是 Connection 类。
 * @author qinxuewu
 * @version 1.00
 * @time 13/9/2018下午 5:19
 */
public class FileSystemApi {
   
	 private static FileSystem fs=null;
	 private static Configuration conf=null;
	 static{
   
	    	 try {
   
	    		  URI uri = new URI("hdfs://192.168.1.191:9000");
	 	           conf  = new Configuration();
	 	          fs = FileSystem.get(uri,conf,"root"); //指定root用户
			} catch (Ex