1. starter启动的第三个服务 StreamMetadataStore。变量对象是 streamStore。
2. StreamMetadataStore是接口,提供对scope和stream的meta数据进行操作的函数,比如创建scope、创建stream、查询stream和scope的创建信息、删除scope和stream等等。
3. StreamMetadataStore是接口有两个实现:InMemoryStreamMetadataStore和ZKStreamMetadataStore。前者,在内存储存meta信息,后者,在Zookeeper上存储meta信息。
4. 以ZKStreamMetadataStore为例进行分析。
4.1 ZKStreamMetadataStore的构造函数是
ZKStreamMetadataStore((CuratorFramework) storeClient.getClient(), bucketCount, executor)
CuratorFramework是操作Zookeeper的库,bucketCount是一个分配新任务分配分配到哪个bucket的参数,executor是多线程服务的定时器。从这个配置而言,可以猜测一下,ZKStreamMetadataStore接收各种任务,然后把任务放到executor以多线程的方式执行,各种meta信息存储到Zookeeper上。
4.2 以newStream函数为例,构造函数如下:
ZKStream(scope, name, storeHelper, completedTxnGC::getLatestBatch)
新创建的函数基本上就是记录各种meta信息,没有更多其他操作。同理,ZKScope的构造函数也是如此。
5. starter启动的第四个服务TaskMetadataStore,存储各种task的metadata,跟StreamMetadataStore类似,结构上更简单一些。不再叙述。
taskMetadataStore = TaskStoreFactory.createStore(storeClient, controllerExecutor);
6. starter启动的的五个服务HostControllerStore,第六个服务CheckpoointStore,也是类似。