FusionInsight-ELK与Apache HAWQ对比(MPP分析型数据库)

本文对比了FusionInsight的ELK和Apache HAWQ两个大数据分析组件。ELK支持SQL2003标准,提供高性能HDFS数据查询,并具有智能扫描和LLVM优化等功能。而Apache HAWQ是一款Hadoop原生SQL查询引擎,具有高并发、高性能和全面的SQL兼容性,支持分布式事务和多级分区。两者都在不同方面展现了各自在大数据分析领域的优势。
摘要由CSDN通过智能技术生成

1. FusionInsight-ELK

1.1 产品简介

​Elk是一个分布式交互查询分析数据仓库引擎,支持标准的SQL2003规范,支持标准SQL对数据的并行插入、删除、修改、查询等功能。ElK是FusionInsight HD提供标准SQL接口的即时查询组件。 

Elk具备以下特点:

1. 支持SQL2003标准语法。

2. 采用高速分布式并行计算引擎。

3. 提供高性能的HDFS(Hadoop Distributed File System)结构化数据的即时及复杂分析查询功能。

4. 对外提供JDBC和ODBC访问接口。

1.2 产品架构

ELK数据库架构图如下所示:

bd135bfb9556456dbe5a8a9fc12df501.png

 

1.3 模块说明

名称

描述

ElkServer(CM)

Elk集群管理模块CM(Cluster Manager),即含CMServer进程的特殊ElkServer,负责管理和监控分布式系统中各个功能单元和物 理资源的运行情况,确保整个系统的稳定运行。CM分为主CM和 备CM。正常情况下,只由主CM提供Elk集群管理服务。当主CM 发生故障的情况下,备CM会主动升为主CM提供Elk集群管理服 务。

CM通过CM服务完成对各个ElkServer管理。CM服务由CMServer、CMAgent、Monitor组成。

● CMServer是整个Elk集群的大脑,它会根据CMAgent上报上来 的各ElkServer状态信息来决定是否需要状态变更。CMServer 只部署在主备CM上。

● CMAgent是ElkServer上面部署的实例代理线程,负责接收CMServer下发的命令和上报ElkServer的Coordinator、Datanode、GTM的状态给CMServer。每个ElkServer均会部署 一个CMAgent,也包括主备CM和主备GTM。

● Monitor是watchdog定时任务,其唯一的任务是在CMAgent停止的情况下将CMAgent重启。每个ElkServer均会部署一个Monitor,也包括主备CM和主备GTM。

ElkServer(GTM)

全局事务管理模块GTM(Global Transaction Manager),即含GTM进程的特殊ElkServer,负责生成和维护全局事务ID、事务快 照、时间戳等需要全局唯一的信息。GTM分为主GTM和备 GTM。正常情况下,只由主GTM提供全局事务管理服务。当主 GTM发生故障的情况下,备GTM会主动升为主GTM提供服务。

ElkServer

业务模块,即除ElkServer(CM)、ElkServer(GTM)以外的ElkServer,由Coordinator及多个Datanode组成,负责执行CM、 GTM下发的任务。业务模块与ElkServer(CM)、ElkServer(GTM)主 要区别是不包含CMServer与GTM进程。

Coordinator(CN)

负责提供外部应用接口、优化全局执行计划、向Datanode分发执 行计划,以及汇总、处理执行结果。

Datanode(DN)

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值