Kylin中的cube构建引擎使用spark

最新推荐文章于 2023-06-25 09:49:56 发布
最新推荐文章于 2023-06-25 09:49:56 发布
阅读量280 收藏
点赞数 1
分类专栏： Kylin 文章标签： Kylin Spark构建Cube AdvancedSetting
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/litlit023/article/details/109570380
版权

目录

 

1. 将默认的Mapreduce引擎改为spark

2. 参考链接

1. 将默认的Mapreduce引擎改为spark

启动kylin后，会在 Kylin Web 页面上加载出两个默认的 Cube ，然后我们访问 Kylin Web UI ，然后点击 Model -> Action -> Edit 按钮

接下来直接点击 Advanced Setting，进行高级配置

 

接下来选择 spark引擎即可，可以看到目前kylin支持的cube引擎有MapReduce、Spark和Flink三种

2. 参考链接

https://blog.csdn.net/CREATE_17/article/details/101320908

http://kylin.apache.org/cn/docs/tutorial/cube_spark.html

fragrans
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
大数据Kylin（七）：Kylin构建Cube实战
Lansonli（蓝深李）的博客
03-07 483
根据“CreateData.java”文件生成对应的事实表，然后执行SQL语句将对应的维度表和事实表导入到Hive中。维度表region_tbl，数据如下：G01|北京G02|江苏G03|浙江G04|上海G05|广州维度表city_tbl，数据如下：G01|G0101|朝阳G01|G0102|海淀G02|G0201|南京G02|G0202|宿迁G03|G0301|杭州G03|G0302|嘉兴G04|G0401|徐汇G04|G0402|虹口G05|G0501|广州。
Apache Kylin 2.0 之Spark构建引擎
05-16
Apache Kylin 作为领先的大数据OLAP分析平台步入了2.0时代，正逐渐从Hadoop上的传统OLAP演变为一个实时数据仓库，新的版本支持灵活的雪花模型和更加全面的SQL语法，引入了更加先进的Spark Cubing构建引擎，更好地...
Apache Kylin 3.x 的 Cube 构建流程
Shockang的博客
10-16 406
Cube 的构建方式通常有两种：**全量构建和增量构建**，两者的构建步骤是完全一样的，区别只在于构建时读取的数据源是全集还是子集。本文详解了Cube 的构建步骤。
Kylin构建参数优化之Spark构建资源参数配置优化
Bulut0907
03-13 482
如果存在严重的内存问题，可以考虑调整kylin.engine.spark-conf.spark.executor.cores为1，使单个任务是每个Executor的独家任务，虽然执行效率相对较低，但它可以通过这种方式来避免构建失败。在kylin.properties配置文件中，以kylin.engine.spark-conf开头的参数，都是设置Spark构建资源的参数。设置kylin.engine.spark-conf.spark.sql.shuffle.partitions为。
kylin版本_Kylin配置Spark并构建Cube
weixin_39954682的博客
11-21 243
每一个成功人士的背后，必定曾经做出过勇敢而又孤独的决定。放弃不难，但坚持很酷~HDP 版本：2.6.4.0Kylin 版本：2.5.1机器说明：三台 CentOS-7，8G 内存Kylin 的计算引擎除了 MapReduce ，还有速度更快的 Spark ，本文就以 Kylin 自带的示例 kylin_sales_cube 来测试一下 Spark 构建 Cube 的速度。一、配置Kylin的相关S...
使用 MapReduce/Spark 进 行 Cube 计算的原理及过程
11-29
Spark的弹性分布式数据集（RDD）和DataFrame API使得数据处理更加灵活，能够快速地执行Cube构建的各个步骤。此外，Spark的批处理和流处理能力使其能够在内存中处理数据，进一步减少延迟，提高性能。 总的来说，...
大数据技术之Kylin视频教程
07-08
本套视频教程版本升级为4.0，涵盖了Kylin新版的重大功能升级，并将构建引擎和查询引擎全部升级为Spark，将存储由HBase升级为HDFS下的Parquet存储，这三方面的升级大大提升了Kylin的Cube构建效率和查询效率。...
Kylin on Parquet.pdf
04-23
开源OLAP分析引擎Kylin最新支持parquet存储，并且使用spark进行cube的构建。本文档是Kyligence工程师关于上述内容的相关分享。
基于Apache Kylin 构建大数据分析平台
02-05
完成cube构建后，需要定期或按需更新以保持数据新鲜度。 Kylin与多种数据源集成，如Hive、HBase、Kafka等，允许实时或批处理的数据摄入。此外，它支持多种BI工具，如Tableau、Excel、Power BI等，提供用户友好的...
13.4 使用spark构建cube
kk25114的博客
08-03 488
配置参考官方文档 http://kylin.apache.org/cn/docs/tutorial/cube_spark.html 1.默认使用mr构建cube 2.选择时间区域 构建使用saprk引擎 可以看到在执行的spark job 在使用执行saprk时会开启一个session,即hive on spark, on yarn启动se...
Kylin多维分析引擎（五）：Kylin集成Spark、Flink与增量构建
Yuan_CSDF的博客
06-20 655
1.集成Spark、Flink： 查看官网http://kylin.apache.org/docs/tutorial/cube_spark.html
3、apache-kylin-3.1.3-bin-hadoop3基本操作(创建model和cube、数据查詢)
最新发布
alanchanchn的专栏
06-25 4万+
本文简单的介绍了kylin的基本使用示例，也给出了hive和kylin的使用比较。本文中第一个示例详细的介绍了kylin的使用步骤，以及与hive的使用简单对比；第二个示例单独的使用kylin来实现，仅仅给出了最后一个示例的hive执行时间的对比。本文依赖hive环境好用、kylin环境好用。本文部分数据来源于互联网。
Kylin 快速入门 （二）创建Cube
weixin_45417821的博客
01-26 434
文章目录创建Cube构建Cube 创建Cube 1）点击 New 按钮然后选择 New Cube 2）选择 Model 及填写 Cube Name 3）添加真正的维度字段 (将来会影响 Cuboid 的个数,并且只能从 model 维度字段里面选择) 4）添加真正度量值字段(将来预计算的字段值,只能从 model 度量值里面选择) 5）动态更新相关（默认） 6）高阶设置（默认） 7）需要修改的配置(默认) 8）Cube 信息展示 9）Cube 配置完成，查看 Cube 信息 构建
Kylin使用Spark构建Cube
微信搜：import_bigdata，大数据领域硬核原创作者
05-16 1715
Apache Kylin™是一个开源的分布式分析引擎，提供Hadoop/Spark之上的SQL查询接口及多维分析（OLAP）能力以支持超大规模数据，最初由eBay Inc. 开发并贡献至...
Kylin的介绍、使用和原理架构(Kylin3.0和Kylin4.0，Cube，去重原理，性能优化，MDX For Kylin，BI工具集成)
迷雾总会解
06-22 3804
Apache Kylin是一个开源的分布式分析引擎，提供Hadoop/Spark之上的SQL查询接口及多维分析（OLAP）能力以支持超大规模数据，最初由eBay Inc开发并贡献至开源社区。它能在亚秒内查询巨大的Hive表。在Apache Kylin的现有实现中，Cube的每个Segment都会创建独立的字典，这种方式会导致相同数据在不同Segment字典中被映射成不同的值，这会导致最终的去重结果出错。
Kylin--执行引擎换成spark
qq_46893497的博客
12-19 203
Yarn配置修改: <property> <name>yarn.nodemanager.aux-services</name> <value>spark_shuffle,mapreduce_shuffle</value> </property> <property> <name>yarn.nodemanager.aux-services.spark_shuffle.class</.
快扔掉MapReduce，拥抱Spark吧
weixin_33834910的博客
06-15 104
2019独角兽企业重金招聘Python工程师标准>>> ...
Apache Kylin 云原生架构的思考及规划
Kyligence
02-23 678
在 1 月 4 号 ECUG 技术大会的分享中，Kyligence 的 CEO Luke Han 为大家带来了主题为《Apache Kylin 云原生架构的思考及规划》的精彩演讲，分享了 Kylin 如何拥抱云原生这一趋势。欢迎希望参与打造云原生Kylin 的同学踊跃联系我们 shaofengshi@apache.org，邮箱主题请备注「参与 Kylin 云原生开发」，下一代 Kylin 等着你...
kylin不可以使用mapreduce或者spark作为构建引擎
06-13
然后，Kylin会使用Cube构建引擎，对MapReduce作业的输出进行合并和聚合，生成Cube数据模型，并将其存储在HBase中。 在默认情况下，Kylin使用Hadoop MapReduce作为构建引擎，但也可以通过配置文件来支持使用Apache ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值