HDFS的Java API操作本地环境搭建
1、创建一个Java project 项目:
2、导入jar包:
把Hadoop根目录下的 JAR包和lib下的JAR包导进去:
3、修改本地 hosts 文件:
在里面加入 虚拟机的IP地址和主机名:
不用FileSystem连接,用URL连接一下看看是否可以连通:
代码为查看HDFS 的一个文件:
代码为:
package hdfs;
import java.io.InputStream;
import java.net.URL;
importorg.apache.hadoop.fs.FsUrlStreamHandlerFactory;
import org.apache.hadoop.io.IOUtils;
public class HDFS {
staticfinal StringPATH="hdfs://192.168.1.100:9000/user/hadoop/input/baozi.txt";
publicstatic void main(String args[]) throws Exception{
URL.setURLStreamHandlerFactory(newFsUrlStreamHandlerFactory());
finalURL url=new URL(PATH);
finalInputStream in=url.openStream();
IOUtils.copyBytes(in,System.out, 1024, true);
}
}