Apache Kylin构建cube的FactDistinctColumnsJob阶段出现IllegalStateException异常


                笔者所在的公司生产环境之前部署的Kylin集群为:10.8.34.72(server.mode=all) ,10.8.34.80(server.mode=query) ,由于使用的用户越来越多,查询响应慢引起了用户的反感,前几天将集群部署调整为:10.8.34.72(server.mode=query) ,10.8.35.16(server.mode=query) ,10.8.34.80(server.mode=job) ,最近好几个cube在构建的时候,在第三个步骤Extract Fact Table Distinct Columns出现了IllegalStateException异常,如下图:



                翻阅网上的资料,终于找出原因,应该是集群部署方式改变之后meta data同步 不正确导致的,经修改kylin.properties的配置项,重启kylin的所有节点,问题没有再出现了。

                原配置项内容为:kylin.rest.servers=10.8.34.72:7070,10.8.34.80:7070

                经修改,配置项内容为:kylin.rest.servers=10.8.34.72:7070,10.8.35.16:7070,10.8.34.80:7070(笔者以为34.80节点server.mode=job不需要添加进来 ,这个问题应该就是这个地方导致meta data无法同步)

转载文章: http://blog.bcmeng.com/post/kylin-case.html



                        

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Apache Kylin 是一款开源的分布式分析引擎,旨在为 OLAP(联机分析处理)场景下大数据处理提供高效的解决方案。Kylin 架构设计主要包括四层:数据存储层、计算层、查询层和访问层。 数据存储层:Kylin 支持多种数据源,包括 HBase、Hive 和 RDBMS。在数据存储层,Kylin 将数据进行切分和存储,并构建多维数据模型和 Cube 模型,以此支持多维分析查询。 计算层:Kylin 计算层主要负责构建 Cube 数据模型,从而支持快速的多维分析。Kylin 使用 MapReduce、Spark 和 Flink 等分布式计算框架构建 Cube 模型,并且采用增量计算和全量计算相结合的方式,以保证数据的实时更新和高效查询。 查询层:Kylin 查询层主要提供两种查询方式:SQL 和 REST API。Kylin 查询层可以直接访问 Kylin Cube 数据模型,同时支持 SQL JOIN 和聚合操作,以支持丰富的多维分析操作。 访问层:Kylin 访问层主要负责提供数据可视化和 BI 工具集成。Kylin 支持多种数据可视化工具,如 Tableau、PowerBI 和 Superset 等,以及多个 BI 工具的集成,如 Apache ZeppelinApache Superset 和 Apache Druid 等。 总之,Apache Kylin 架构设计以分布式计算为核心,通过数据存储、计算、查询和访问四层框架提供高效、快速、多维的 OLAP 型数据分析解决方案,可广泛应用于电商、金融、广告等场景的数据分析处理。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值