1. FusionInsight-ELK
1.1 产品简介
Elk是一个分布式交互查询分析数据仓库引擎,支持标准的SQL2003规范,支持标准SQL对数据的并行插入、删除、修改、查询等功能。ElK是FusionInsight HD提供标准SQL接口的即时查询组件。
Elk具备以下特点:
1. 支持SQL2003标准语法。
2. 采用高速分布式并行计算引擎。
3. 提供高性能的HDFS(Hadoop Distributed File System)结构化数据的即时及复杂分析查询功能。
4. 对外提供JDBC和ODBC访问接口。
1.2 产品架构
ELK数据库架构图如下所示:
1.3 模块说明
名称 |
描述 |
ElkServer(CM) |
Elk集群管理模块CM(Cluster Manager),即含CMServer进程的特殊ElkServer,负责管理和监控分布式系统中各个功能单元和物 理资源的运行情况,确保整个系统的稳定运行。CM分为主CM和 备CM。正常情况下,只由主CM提供Elk集群管理服务。当主CM 发生故障的情况下,备CM会主动升为主CM提供Elk集群管理服 务。 CM通过CM服务完成对各个ElkServer管理。CM服务由CMServer、CMAgent、Monitor组成。 ● CMServer是整个Elk集群的大脑,它会根据CMAgent上报上来 的各ElkServer状态信息来决定是否需要状态变更。CMServer 只部署在主备CM上。 ● CMAgent是ElkServer上面部署的实例代理线程,负责接收CMServer下发的命令和上报ElkServer的Coordinator、Datanode、GTM的状态给CMServer。每个ElkServer均会部署 一个CMAgent,也包括主备CM和主备GTM。 ● Monitor是watchdog定时任务,其唯一的任务是在CMAgent停止的情况下将CMAgent重启。每个ElkServer均会部署一个Monitor,也包括主备CM和主备GTM。 |
ElkServer(GTM) |
全局事务管理模块GTM(Global Transaction Manager),即含GTM进程的特殊ElkServer,负责生成和维护全局事务ID、事务快 照、时间戳等需要全局唯一的信息。GTM分为主GTM和备 GTM。正常情况下,只由主GTM提供全局事务管理服务。当主 GTM发生故障的情况下,备GTM会主动升为主GTM提供服务。 |
ElkServer |
业务模块,即除ElkServer(CM)、ElkServer(GTM)以外的ElkServer,由Coordinator及多个Datanode组成,负责执行CM、 GTM下发的任务。业务模块与ElkServer(CM)、ElkServer(GTM)主 要区别是不包含CMServer与GTM进程。 |
Coordinator(CN) |
负责提供外部应用接口、优化全局执行计划、向Datanode分发执 行计划,以及汇总、处理执行结果。 |
Datanode(DN) |
负 |