2、apache-kylin-3.1.3-bin-hadoop3集群部署

apache-kylin-3.1.3-bin-hadoop3 系列文章

1、apache-kylin-3.1.3-bin-hadoop3介绍及部署、验证详解
2、apache-kylin-3.1.3-bin-hadoop3集群部署
3、apache-kylin-3.1.3-bin-hadoop3基本操作(创建model和cube、数据查詢)
4、apache-kylin-3.1.3-bin-hadoop3增量构建、全量构建详细示例
5、apache-kylin-3.1.3-bin-hadoop3 segment管理及JDBC操作
6、apache-kylin-3.1.3-bin-hadoop3 cube优化方向及减少cuboids和降低膨胀率详细示例

---

---

本文简单的介绍了kylin的集群部署、任务引擎的高可用配置、curator的任务调度、前端负载均衡以及读写分离配置。更多的信息需要结合实际的应用场景详细的参考官网文档。

一、集群部署

1、集群介绍

Kylin 实例是无状态的服务，运行时的状态信息存储在 HBase metastore 中。
出于负载均衡的考虑，您可以启用多个共享一个 metastore 的 Kylin 实例，使得各个节点分担查询压力且互为备份，从而提高服务的可用性。
下图描绘了 Kylin 集群模式部署的一个典型场景：

2、集群部署

需要将多个 Kylin 节点组成集群，使用同一个 Hadoop 集群、HBase 集群。然后在每个节点的配置文件 $KYLIN_HOME/conf/kylin.properties 中执行下述操作：

• 配置相同的 kylin.metadata.url 值，即配置所有的 Kylin 节点使用同一个 HBase metastore。

#kylin.metadata.url=kylin_metadata@hbase

• 配置 Kylin 节点列表 kylin.server.cluster-servers，包括所有节点（包括当前节点），当事件变化时，接收变化的节点需要通知其他所有节点（包括当前节点）。

#kylin.server.cluster-servers=localhost:7070

• 配置 Kylin 节点的运行模式 kylin.server.mode，参数值可选 all, job, query 中的一个，默认值为 all。

#kylin.server.mode=all

job 模式代表该服务仅用于任务调度，不用于查询
query 模式代表该服务仅用于查询，不用于构建任务的调度
all 模式代表该服务同时用于任务调度和 SQL 查询

注意：默认情况下只有一个实例用于构建任务的调度 （即 kylin.server.mode 设置为 all 或者 job 模式）。

二、任务引擎高可用

从v2.0 开始，Kylin 支持多个任务引擎一起运行，相比于默认单任务引擎的配置，多引擎可以保证任务构建的高可用。
使用多任务引擎，你可以在多个 Kylin 节点上配置它的角色为 job 或 all。
为了避免它们之间产生竞争，需要在kylin.properties中配置任务调度器为分布式调度：

kylin.job.scheduler.default=2
kylin.job.lock=org.apache.kylin.storage.hbase.util.ZookeeperJobLock

然后将所有任务和查询节点的地址注册到 kylin.server.cluster-servers。

三、配置CuratorScheduler进行任务调度

从 v3.0.0-alpha 开始，kylin引入基于Curator的主从模式多任务引擎调度器，用户可以修改如下配置来启用CuratorScheduler：

kylin.job.scheduler.default=100
kylin.server.self-discovery-enabled=true

更多关于kylin任务调度器的细节可以参考Apache Kylin Wiki

四、安装负载均衡器

为了将查询请求发送给集群而非单个节点，您可以部署一个负载均衡器，如 Nginx， F5 或 cloudlb 等，使得客户端和负载均衡器通信代替和特定的 Kylin 实例通信。

五、读写分离部署

为了达到更好的稳定性和最佳的性能，建议进行读写分离部署，将 Kylin 部署在两个集群上，如下：
一个 Hadoop 集群用作 Cube 构建，这个集群可以是一个大的、与其它应用共享的集群；
一个 HBase 集群用作 SQL 查询，通常这个集群是专门为 Kylin 配置的，节点数不用像 Hadoop 集群那么多，HBase 的配置可以针对 Kylin Cube 只读的特性而进行优化。
这种部署策略是适合生产环境的最佳部署方案，关于如何进行读写分离部署，请参考 Deploy Apache Kylin with Standalone HBase Cluster。