从Hadoop URL读取数据
要从Hadoop文件系统读取文件,最简单的方法就是使用java.net.URL对象打开数据流,从中读取是数据。
第一步:新建Java工程,并添加所需要的jar包,再创建测试类
第二步:打开测试类,填写代码
import java.io.IOException;
import java.io.InputStream;
import java.net.MalformedURLException;
import java.net.URL;
import org.apache.hadoop.fs.FsUrlStreamHandlerFactory;
import org.apache.hadoop.io.IOUtils;
import org.junit.Test;
public class TestURL {
//通过FsUrlStreamHandlerFactory实例调用java.net.URL对象的setURLStreamHandlerFactory()方法
//注意: 每个java虚拟机只能调用一次这个方法,因此通常在静态方法中调用。
static {
URL.setURLStreamHandlerFactory(new FsUrlStreamHandlerFactory());
}
@Test
public void testURL() throws IOException{
URL url = new URL("hdfs://192.168.172.150:9000/a");
//使用java.net.URL对象打开数据流,从中读取数据
InputStream is =