Kylin资源加载的方式 一

Kylin资源加载的方式 一

在Core Common Module中， persistence包下有一个抽象类ResourceStore，它有两个子类，分别是FileResourceStore和HBaseResourceStore。

抽象父类ResourceStore

ResourceStore类定义了Kylin的元数据的存放路径，该元数据模仿文件系统的方式实现

public static final String CUBE_RESOURCE_ROOT = "/cube";
public static final String CUBE_DESC_RESOURCE_ROOT = "/cube_desc";
public static final String DATA_MODEL_DESC_RESOURCE_ROOT = "/model_desc";
public static final String DICT_RESOURCE_ROOT = "/dict";
public static final String PROJECT_RESOURCE_ROOT = "/project";
public static final String SNAPSHOT_RESOURCE_ROOT = "/table_snapshot";
public static final String TABLE_EXD_RESOURCE_ROOT = "/table_exd";
public static final String TABLE_RESOURCE_ROOT = "/table";
public static final String EXTERNAL_FILTER_RESOURCE_ROOT = "/ext_filter";
public static final String HYBRID_RESOURCE_ROOT = "/hybrid";
public static final String EXECUTE_RESOURCE_ROOT = "/execute";
public static final String EXECUTE_OUTPUT_RESOURCE_ROOT = "/execute_output";
public static final String STREAMING_RESOURCE_ROOT = "/streaming";
public static final String KAFKA_RESOURCE_ROOT = "/kafka";
public static final String STREAMING_OUTPUT_RESOURCE_ROOT = "/streaming_output";
public static final String CUBE_STATISTICS_ROOT = "/cube_statistics";
public static final String BAD_QUERY_RESOURCE_ROOT = "/bad_query";

函数getKnownImpl()

• private static ArrayList<Class<? extends ResourceStore>> getKnownImpl()
• 会把其具体的实现子类添加到一个ArrayList的数据结构knownImpl中，用于获取相关子类的构造器
• 在当前版本的实现中，先添加org.apache.kylin.common.persistence.FileResourceStore，后添加org.apache.kylin.storage.hbase.HBaseResourceStore
• 该方法在createResourceStore()方法中调用(private static ResourceStore createResourceStore(KylinConfig kylinConfig))

抽象子类FileResourceStore

• 通过配置项kylin.metadata.url的值获取本地文件系统的metadata文件夹，默认为kylin_metadata@hbase
• 所有操作均在本地文件系统上进行
• FileResourceStore类用于Kylin元数据的备份和恢复

抽象子类HBaseResourceStore

构造函数HBaseResourceStore(KylinConfig kylinConfig)

• 通过配置项kylin.metadata.url的值，经过字符串解析获取metadata在HBase上的表名，默认为kylin_matadata，同时获得HBase表在HDFS上存放路径，默认为hbase
• 在函数createHTableIfNeeded(String tableName)中建立HBase连接，如果是Kylin第一次启动，则会在HBase上建立Kylin的元数据表kylin_metadata

函数createHTableIfNeeded()

• 调用HBaseConnection类的createHTableIfNeeded()方法决定是否需要创建元数据表