java.util.ServiceLoader使用

最新推荐文章于 2024-04-11 21:43:03 发布

原创最新推荐文章于 2024-04-11 21:43:03 发布 · 1.6w 阅读

13 ·

CC 4.0 BY-SA版权

Java 专栏收录该内容

2 篇文章

订阅专栏

本文介绍 ServiceLoader 在 Hadoop 中的应用，展示如何通过此机制加载 FileSystem 的实现类，并提供了一个具体的示例，包括定义接口、实现类及配置过程。

今天在看hadoop源代的时候发现，在FileSystem中用到了java.util.ServiceLoader这个类来从配置文件中加载子类或者接口的实现类。以前从来没有使用过这个类，进去大概看了一下具体的实现。主要是从META-INF/services这个目录下的配置文件加载给定接口或者基类的实现，ServiceLoader会根据给定的类的full name来在META-INF/services下面找对应的文件，在这个文件中定义了所有这个类的子类或者接口的实现类，返回一个实例。

下面以一个具体的例子来说明一下ServiceLoader的具体使用，类似Hadoop FileSystem中的实现。

首先定义一个接口，具体如下：

public interface IService {
	public String sayHello();
	
	public String getScheme();
}

该接口有两个子类，分别为HDFSService和LocalService：

public class HDFSService implements IService {

	@Override
	public String sayHello() {
		return "Hello HDFS!!";
	}

	@Override
	public String getScheme() {
		return "hdfs";
	}
}

public class LocalService implements IService {

	@Override
	public String sayHello() {
		return "Hello Local!!";
	}

	@Override
	public String getScheme() {
		return "local";
	}

}

需要在META-INF/services下以IService这个类的全名来新建立一个文件，文件中的内容为两个实现类的全名，如下：

 org.hadoop.java.HDFSService
 org.hadoop.java.LocalService

所有的实现和配置都已经完成，下面写一个测试类来看一下结果:

public class ServiceLoaderTest {

	/**
	 * @param args
	 */
	public static void main(String[] args) {
		//need to define related class full name in /META-INF/services/....
		ServiceLoader<IService> serviceLoader = ServiceLoader
				.load(IService.class);
		for (IService service : serviceLoader) {
			System.out.println(service.getScheme()+"="+service.sayHello());
		}
	}

}

具体的输出来如下：

hdfs=Hello HDFS!!
local=Hello Local!!

可以看到ServiceLoader可以根据IService把定义的两个实现类找出来，返回一个ServiceLoader的实现，而ServiceLoader实现了Iterable接口，所以可以通过ServiceLoader来遍历所有在配置文件中定义的类的实例。Hadoop FileSystem就是通过这个机制来根据不同文件的scheme来返回不同的FileSystem。

FileSystem中的相关实例如下：

  private static void loadFileSystems() {
    synchronized (FileSystem.class) {
      if (!FILE_SYSTEMS_LOADED) {
        ServiceLoader<FileSystem> serviceLoader = ServiceLoader.load(FileSystem.class);
        for (FileSystem fs : serviceLoader) {
          SERVICE_FILE_SYSTEMS.put(fs.getScheme(), fs.getClass());
        }
        FILE_SYSTEMS_LOADED = true;
      }
    }
  }

FileSystem对应的配置如下：

org.apache.hadoop.fs.LocalFileSystem
org.apache.hadoop.fs.viewfs.ViewFileSystem
org.apache.hadoop.fs.s3.S3FileSystem
org.apache.hadoop.fs.s3native.NativeS3FileSystem
org.apache.hadoop.fs.kfs.KosmosFileSystem
org.apache.hadoop.fs.ftp.FTPFileSystem
org.apache.hadoop.fs.HarFileSystem

通过之前的测试类输出对应的scheme和class如下：

file=class org.apache.hadoop.fs.LocalFileSystem
viewfs=class org.apache.hadoop.fs.viewfs.ViewFileSystem
s3=class org.apache.hadoop.fs.s3.S3FileSystem
s3n=class org.apache.hadoop.fs.s3native.NativeS3FileSystem
kfs=class org.apache.hadoop.fs.kfs.KosmosFileSystem
ftp=class org.apache.hadoop.fs.ftp.FTPFileSystem
har=class org.apache.hadoop.fs.HarFileSystem
hdfs=class org.apache.hadoop.hdfs.DistributedFileSystem
hftp=class org.apache.hadoop.hdfs.HftpFileSystem
hsftp=class org.apache.hadoop.hdfs.HsftpFileSystem
webhdfs=class org.apache.hadoop.hdfs.web.WebHdfsFileSystem

可以看到FileSystem会把所有的FileSystem的实现都以scheme和class来cache，之后就从这个cache中取相应的值。

因此，以后可以通过ServiceLoader来实现一些类似的功能。而不用依赖像Spring这样的第三方框架。