First_____的博客

一丶Cube的构建算法逐层构建算法:说明:我们知道,在逐层算法中,按维度层数减少来计算,每一层级的计算,是基于他上一层级的结果来计算的,每一轮的计算都是一个 MapReduce 任务，且串行执行；一个 N 维的Cube，至少需要 N 次 MapReduce Job。图解:优点:此算法充分利用了 MapReduce 的优点，处理了中间复杂的排序和 shuffle 工作，故 而算法代码清晰简单，易于维护；受益于 Hadoop 的日趋成熟，此算法非常稳定，即便是集群资源紧张时，也能保证 最终能够完

kylin 查询数据,在linux中进行定时调度的脚本:#!/bin/bash cube_name=order_cube do_date=`date -d '-1 day' +%F` #获取 00:00 时间戳 start_date_unix=`date -d "$do_date 08:00:00" +%s` start_date=$(($start_date_unix*1000)) #获取 24:00 的时间戳 stop_date=$(($start_date+86400000)) c

前提知要(术语):OLAP和OLTP的区别:OLAP（On-Line Analytical Processing）联机分析处理，也称为面向交易的处理过程，其基本特征是前台接收的用户数据可以立即传送到计算中心进行处理，并在很短的时间内给出处理结果，是对用户操作快速响应的方式之一。应用在数据仓库，使用对象是决策者。OLAP系统强调的是数据分析，响应速度要求没那么高,也称为: 多维分析。OLTP（On-Line Transaction Processing）联机事务处理，它使分析人员能够迅速、一致、

前提条件:Hadoop的安装: (记得配置历史服务)hadoop3.x版本安装部署–>直达注意: 需要判断配置的历史服务是否管用Zookeeper的安装:zookeeper的安装链接部署–>直达Hbase的安装:hbase的安装部署地址->>直达Hive元数据的启动:hive安装部署地址–> 直达注意:系统上已经安装了hadoop, hive, hbase,并且配置且生效了环境变量;在启动 Kylin 之前，需要先启动 Hadoop（HDFS、YARN