JAVA URL协议扩展支持HDFS

最新推荐文章于 2021-11-04 22:45:46 发布

weixin_33816300

最新推荐文章于 2021-11-04 22:45:46 发布

阅读量282

点赞数

文章标签： java 大数据人工智能

原文链接：https://my.oschina.net/ktlb/blog/1558882

版权

为什么80%的码农都做不了架构师？>>>

问题：

最近在做自然语言处理的时候,使用了谢菲尔德大学的Gate,奈何Gate只能从本地文件读取配置和语义文件,特将此改造成从HDFS读取,并且和Spark集成起来,做到实时解析
改造完成后才发现可以使用自定义URL来实现，这样改动量就会少一点，后知后觉，特做此记录

扩展的两种方式：

重写URLStreamHandler

//构造方法
public URL(URL context, String spec, URLStreamHandler handler) throws MalformedURLException

//重写URLStreamHandler
new URLStreamHandler(){
     @Override
     protected URLConnection openConnection(URL u) throws IOException {
          return null;
     }
 }

//重写URLConnection, getInputStream,getOutputStream和其他方法根据可根据实际情况决定是否重写
class TestURLConnection extends URLConnection {
    public TestURLConnection(URL url) {
        super(url);
    }

    @Override
    public void connect() throws IOException {
    }

    @Override
    public InputStream getInputStream() throws IOException {
        return super.getInputStream();
    }

    @Override
    public OutputStream getOutputStream() throws IOException {
        return super.getOutputStream();
    }
}

重写URLStreamHandlerFactory


new URLStreamHandlerFactory(){
        @Override
        public URLStreamHandler createURLStreamHandler(String protocol) {
            return null;
        }
}

public static void setURLStreamHandlerFactory(URLStreamHandlerFactory fac) {
        synchronized (streamHandlerLock) {
            if (factory != null) {
                throw new Error("factory already defined");
            }
            SecurityManager security = System.getSecurityManager();
            if (security != null) {
                security.checkSetFactory();
            }
            handlers.clear();
            factory = fac;
        }
    }

本质还是使用了URLStreamHandler，但是要注意，setURLStreamHandlerFactory只能够调用一次，当工程很大，依赖很多的时候，可能会有框架中的代码先于业务代码，调用过此方法，所以为了避免此种情况，最好使用方法一

PS:编写HDFS的大牛早就想到了,所以直接使用org.apache.hadoop.fs.FsUrlStreamHandler 即可

转载于:https://my.oschina.net/ktlb/blog/1558882