Azkaban Hue Impala Kylin
文章平均质量分 77
Azkaban Hue Impala Kylin
Knight_AL
这个作者很懒,什么都没留下…
展开
-
Kylin Cube构建原理+调优
目录Kylin Cube构建原理维度和度量Cube和CuboidCube构建算法Cube存储原理Kylin Cube构建优化使用衍生维度(derived dimension)使用聚合组(Aggregation group)Row Key优化并发粒度优化Kylin Cube构建原理维度和度量维度:即观察数据的角度。比如员工数据,可以从性别角度来分析,也可以更加细化,从入职时间或者地区的维度来观察。维度是一组离散的值,比如说性别中的男和女,或者时间维度上的每一个独立的日期。因此在统计时可以将维度值相同的记原创 2020-08-05 23:27:28 · 688 阅读 · 1 评论 -
Kylin安装
Kylin依赖环境安装Kylin前需先部署好Hadoop、Hive、Zookeeper、HBase,并且需要在/etc/profile中配置以下环境变量HADOOP_HOME,HIVE_HOME,HBASE_HOME,记得source使其生效。Kylin搭建1)下载Kylin安装包下载地址:http://kylin.apache.org/cn/download/2)解压apache-kylin-2.5.1-bin-hbase1x.tar.gz到/export/servers tar -zxvf原创 2020-08-03 21:59:46 · 286 阅读 · 0 评论 -
Kylin的使用
目录创建工程获取数据源创建model构建cube重复Key问题如何处理创建工程获取数据源创建model构建cube重复Key问题如何处理创建维度表视图create view dwd_dim_user_info_his_view as select * from dwd_dim_user_info_his where end_date='9999-99-99';在重第一步开始重新导 !!!!!...原创 2020-08-03 22:32:17 · 165 阅读 · 0 评论 -
Kylin入门案例
目录测试数据表结构介绍导入测试数据测试数据表结构介绍1、(事实表)dw_sales列名列类型说明idstring订单iddate1string订单日期channelidstring订单渠道(商场、京东、天猫)productidstring产品idregionidstring区域名称amountint商品下单数量pricedouble商品金额2、(维度表_渠道方式)dim_channel列名列类型说原创 2021-03-08 20:44:00 · 707 阅读 · 0 评论 -
Kylin-Cube碎片(segment)管理
目录增量构建的问题管理Cube碎片手动触发合并Segment删除Segment自动合并配置保留Segment增量构建的问题日积月累,增量构建的Cube中的Segment越来越多,该Cube的查询性能也会越来越慢,因为需要在单点的查询引擎中完成越来越多的运行时聚合。为了保持查询性能:需要定期地将某些Segment合并在一起或者让Cube根据Segment保留策略自动地淘汰那些不会再被查询到的陈旧Segment管理Cube碎片上述案例,每天都会生成一个Segment,对应就是HBase中的一张表原创 2021-04-07 09:03:08 · 743 阅读 · 0 评论 -
kylin在启动后Web UI无法打开
如果启动kylin没有报错,出现这种情况,换一个ui地址解决方案http://hadoop102:7070/换成http://hadoop102:7070/kylin/login原创 2021-02-21 21:55:11 · 1619 阅读 · 2 评论 -
Kylin启动报错hbase-common lib not found
报错原因兼容问题解决解决方案修改/export/servers/kylin/bin/find-hbase-dependency.sh增加[common-shaded-client]原创 2021-02-21 22:01:44 · 328 阅读 · 0 评论 -
Kylin_定时调度脚本
Kylin提供了Restful API,因次我们可以将构建cube的命令写到脚本中,将脚本交给azkaban或者oozie这样的调度工具,以实现定时调度的功能。不会写看kylin官网中得Restful APIhttps://kylin.apache.org/docs/howto/howto_use_restapi.html#query对于xxxxxxx是账号和密码:ADMIN:KYLIN但是需要用Base64加密,直接在百度搜Base64在线加密定时调度脚本#!/bin/bashcube_原创 2020-10-25 20:35:33 · 694 阅读 · 0 评论 -
Kylin增量构建
目录应用场景理解Cube、Cuboid与Segment的关系全量构建与增量构建增量构建Cube过程数据准备增量Cube的创建REST API触发增量构建应用场景Kylin在每次Cube的构建都会从Hive中批量读取数据,对于大多数业务场景来说,Hive中的数据处于不断增长的状态。为了支持Cube中的数据能够不断地得到更新,且无需重复地为已经处理过的历史数据构建Cube,因此对于Cube引入了增量构建的功能理解Cube、Cuboid与Segment的关系Kylin将Cube划分为多个Segme原创 2021-03-13 11:56:19 · 272 阅读 · 0 评论 -
Kylin Cube优化
目录Cuboid剪枝优化检查Cuboid数量检查Cube大小使用衍生维度聚合组数据准备Kylin Cube不优化Kylin Cube优化优化和不优化对比Cuboid剪枝优化为什么要进行Cuboid剪枝剪枝优化将以减少Cuboid数量为目的的Cuboid优化统称为Cuboid剪枝。在没有采取任何优化措施的情况下,Kylin会对每一种维度的组合进行预计算,每种维度的组合的预计算结果被称为Cuboid。如果有4个维度,可能最终会有2^4 =16个Cuboid需要计算。但在实际开发中,用户的维度数量一般原创 2021-04-28 15:10:08 · 186 阅读 · 0 评论 -
Kylin BI工具集成(JDBC+Zepplin)
目录Kylin BI工具集成JDBCZepplinKylin BI工具集成可以与Kylin结合使用的可视化工具很多,例如:ODBC:与Tableau、Excel、PowerBI等工具集成JDBC:与Saiku、BIRT等Java工具集成RestAPI:与JavaScript、Web网页集成Kylin开发团队还贡献了Zepplin的插件,也可以使用Zepplin来访问Kylin服务。JDBC1)新建项目并导入依赖<dependencies> <depende原创 2020-08-05 21:50:02 · 354 阅读 · 0 评论 -
Hue的安装+集成(Hdfs,Yarn,Hive,Mysql,Hbase,Impala)
1.上传解压安装包Hue的安装支持多种方式,包括rpm包的方式进行安装、tar.gz包的方式进行安装以及cloudera manager的方式来进行安装等,我们这里使用tar.gz包的方式来进行安装。Hue的压缩包的下载地址:http://archive.cloudera.com/cdh5/cdh/5/我们这里使用的是CDH5.14.0这个对应的版本,具体下载地址为http://archive.cloudera.com/cdh5/cdh/5/hue-3.9.0-cdh5.14.0.tar.gz原创 2021-02-02 21:06:05 · 2582 阅读 · 1 评论 -
Impala安装部署
Impala安装部署安装前提集群提前安装好hadoop,hive。hive安装包scp在所有需要安装impala的节点上,因为impala需要引用hive的依赖包。hadoop框架需要支持C程序访问接口,查看下图,如果有该路径下有这么文件,就证明支持C接口。下载安装包、依赖包由于impala没有提供tar包进行安装,只提供了rpm包。因此在安装impala的时候,需要使用rpm包来进行安装。rpm包只有cloudera公司提供了,所以去cloudera公司网站进行下载rpm包即可。但是另外一原创 2021-01-30 21:19:00 · 361 阅读 · 0 评论 -
Azkaban详细操作
数仓流程图创建job文件(1)mysql_to_hdfs.jobtype=commandcommand=/home/donglin/bin/mysql_to_hdfs.sh all ${dt}(2)hdfs_to_ods_log.jobtype=commandcommand=/home/donglin/bin/hdfs_to_ods_log.sh ${dt}(3)hdfs_to_ods_db.jobtype=commandcommand=/home/donglin/bin/hdfs原创 2020-10-24 21:56:47 · 496 阅读 · 0 评论 -
Azkaban安装部署
Azkaban 下载地址下载地址:http://azkaban.github.io/downloads.htmlAzkaban 安装部署(1)将 Azkaban Web 服务器、Azkaban 执行服务器、Azkaban 的 sql 执行脚本及 MySQL 安装包拷贝到 hadoop102 虚拟机/export/software 目录下azkaban-web-server-2.5.0.tar.gzazkaban-executor-server-2.5.0.tar.gzazkaban-sql-sc原创 2020-08-01 23:26:02 · 295 阅读 · 0 评论