Apache Kylin安装指南+入门案例(附图)

最新推荐文章于 2024-07-30 21:09:27 发布

置顶我与共饮长江水

最新推荐文章于 2024-07-30 21:09:27 发布

阅读量2.2k

点赞数 4

分类专栏： Kylin 文章标签：大数据 kylin 系统安装

本文链接：https://blog.csdn.net/CJ_codingfish/article/details/109217259

版权

Kylin 专栏收录该内容

1 篇文章 1 订阅

订阅专栏

Apache Kylin安装文档

Kylin安装
Kylin使用案例

1. Kylin安装

使用FTP工具上传apache-kylin-2.5.1-bin-hbase1x.tar.gz压缩包到node01的opt/software目录下
解压上一步上传的压缩包opt/module下tar -zxvf apache-kylin-2.5.1-bin-hbase1x.tar.gz -C /opt/module
进入opt/module目录，更改apache-kylin-2.5.1-bin-hbase1x目录名字mv pache-kylin-2.5.1-bin-hbase1x kylin-2.5.1
此时opt/module目录结构如下
进入到kylin-2.5.1目录，查看kylin的目录结构
进入conf目录，将 kylin.properties.template改成kylin.properties,命令：mv kylin.properties.template kylin.properties

编辑kylin.properties文件,添加以下内容

 # 下面的node01是你的主机名，我将kylin装在了第一个节点上，需要根据你的主机名更改
 kylin.server.cluster-servers=node01:7070
 kylin.server.mode=all

在/etc/profile下添加java hadoop hive hbase kylin spark的环境变量，下面参考我的设置

 # JAVA_HOME
 export JAVA_HOME=/opt/module/jdk1.8.0_144
 export PATH=:$JAVA_HOME/bin:$PATH
 
 # HADOOP_HOME
 export HADOOP_HOME=/opt/module/hadoop-2.7.2
 export PATH=$PATH:$HADOOP_HOME/bin
 
 # SPARK_HOME
 export SPARK_HOME=/opt/module/spark-2.1.1
 export PATH=$PATH:$SPARK_HOME/bin
 
 # HIVE_HOME
 export HIVE_HOME=/opt/module/hive-1.2.1
 export PATH=$PATH:$HIVE_HOME/bin
 
 # HBASE_HOME
 export HBASE_HOME=/opt/module/hbase-1.3.1
 export PATH=$PATH:$HBASE_HOME/bin
 
 # KYLIN_HOME
 export KYLIN_HOME=/opt/module/kylin-2.5.1
 export PATH=$PATH:$KYLIN_HOME/bin

使用分发命令分发/etc/profile文件，命令是xsync /etc/profile

 # 附xsync脚本
 # 注意的两个地方看下图 一个是更改 for循环中的条件，一个是更改用到主机名的地方
 # 使用文件分发脚本步骤如下
  1. cd /usr/local/bin
  2. vim xsync
  3. 输入下面的shell脚本内容
  4. chmod 777 xsync
  5. 在任意一个位置创建一个文件，然后测试xsync脚本
  
 
 #!/bin/bash
 #1 获取输入参数个数，如果没有参数，直接退出
 pcount=$#
 if((pcount==0)); then
 echo no args;
 exit;
 fi
 
 #2 获取文件名称
 p1=$1
 fname=`basename $p1`
 echo fname=$fname
 
 #3 获取上级目录到绝对路径
 pdir=`cd -P $(dirname $p1); pwd`
 echo pdir=$pdir
 
 #4 获取当前用户名称
 user=`whoami`
 
 #5 循环
 for((host=1; host<4; host++)); do
         echo ------------ node0$host ----------------
                 # rsync是远程同步工具 -r递归 -v显示复制过程 -l拷贝软连接
         rsync -rvl $pdir/$fname $user@node0$host:$pdir
 done

在这里插入图片描述

由于上面在/etc/profile文件中新增了内容，需要键入source /etc/profile让刚刚做的修改立即生效
正式分发/etc/profile文件，键入命令xsync /etc/profile
到第二个和第三个节点上查看/etc/profile文件中的内容是否和第一个节点中的文件内容一致
在第二个节点和第三个节点上键入命令source /etc/profile
进入kylin的安装目录 cd /opt/module/kylin-2.5.1/

键入以下命令以分别检查环境

 # 检查环境
 bin/check-env.sh
 # 检查hive依赖
 bin/find-hive-dependency.sh
 # 检查hbase依赖
 bin/find-hbase-dependency.sh

启动/停止Kylin

 # 启动Kylin
 bin/kylin.sh start
 # 停止Kylin
 bin/kylin.sh stop

Warnings这里目前收集了一次错误，之前都解决了，如果有需要请在帖子下方留言您的error

错误：ERROR: Check hive's usability failed, please check the status of your cluster

解决在kylin的安装目录下进入bin目录然后找到check-hive-usability.sh,之后键入命令vim check-hive-usability.sh编辑该文件，修改timeLeft的值为100(默认值为60)，见下图

进入web界面

如果成功启动，在terminal中键入jps命令会出现RunJar的进程，terminal末尾的显示的信息如下图
在这里插入图片描述

 # 进入浏览器，在地址栏中输入
 node01:7070/kylin/login
 # 账号和密码信息
 账号：ADMIN
 密码：KYLIN

Web界面如下

2.Kylin使用案例

数据准备
- 百度网盘链接下载: https://pan.baidu.com/s/18vuT3wbANskP7J3nhlf4GQ 密码: 10jw
- 下载emp.txt和dept.txt

进入到Hive的操作界面

创建数据库表

# 创建部门表
create external table if not exists default.dept(
deptno int,
dname string,
loc int
)
row format delimited fields terminated by '\t';

# 创建员工表
create external table if not exists default.emp(
empno int,
ename string,
job string,
mgr int,
hiredate string, 
sal double, 
comm double,
deptno int)
row format delimited fields terminated by '\t';

查看创建的表

show tables;

向表中导入数据

# 将从网盘中下载好的数据文件导入到节点的`/opt/module/datas`目录下（datas目录是自己手动创建的）
# 这里Hive中就使用默认的数据库default数据库

# 向部门表dept中导入数据
load data local inpath '/opt/module/datas/dept.txt' into table default.dept;

# 向员工表emp中导入数据
load data local inpath '/opt/module/datas/emp.txt' into table default.emp;

查看两张表中的数据

select * from emp;

select * from dept;

在Kylin的Web界面创建项目
- 登录系统
  - 用户名:ADMIN 密码:KYLIN
- 创建工程
  - 点击左上角的 + 号，输入Project Name和Project Description;最后点击页面卡右下方的Sumbit来提交
- 选择数据源
- 查看数据源
- 创建Model
  - 回到Models页面
  - 填充Model名称和描述信息，然后继续Next
  - 选择事实表
  - 选择添加的维度表及JOIN的字段
  - 选择添加的维度表和JOIN的字段
  - 选择维度信息
  - 选择度量信息
  - 添加分区信息及where过滤条件，点击Save
  - ModelOne创建完成
- 创建Cube
  - 选择Model -> New Cube，选择我们刚刚创建的ModelOne并填写Cube Name
  - 添加维度
  - 添加预计算内容

在这里插入图片描述

创建好的Cube信息展
- 到此为止，我们的CubeOne配置完成

触发Cube预计算
- 点击Action ->Build
- 查看构建进度
- Cube构建完成

对比Kylin和Hive

Hive查询

# 需求：根据部门名称统计员工薪水总数
# 进入到Hive的Shell端口 bin/hive
# 键入下面的语句

select dname,sum(sal) from emp e join dept d on e.deptno = d.deptno group by dname;

查询时间

在这里插入图片描述

Kylin查询

进入Insight页面，输入SQL语句，点击Sumbit来提交

我与共饮长江水

关注

4
点赞
踩
7

收藏

觉得还不错? 一键收藏
8
评论
Apache Kylin安装指南+入门案例(附图)

Apache Kylin安装文档Kylin安装Kylin使用案例1. Kylin安装使用FTP工具上传apache-kylin-2.5.1-bin-hbase1x.tar.gz压缩包到node01的opt/software目录下解压上一步上传的压缩包opt/module下tar -zxvf apache-kylin-2.5.1-bin-hbase1x.tar.gz -C /opt/module进入opt/module目录，更改apache-kylin-2.5.1-bin-hba
复制链接

扫一扫

专栏目录