Kylin 安装文档:
1:操作系统 Ubuntu 12.04.5 LTS
2:时间问题
时间同步
NTP,Chrony
3.用户
hadoop 如果做集群做免密登录
4:环境要求
Hadoop 2.6
hbase 1.1.3 以上
hive 1.2.1 或者2.0 mysql存放元数据
5:安装目录
cd /usr/local
mkdir /usr/locak/kylin
chown -R aphadoop:aphadoop /usr/locak/kylin
6:kylin
kylin 1.5.1
apache-kylin-1.5.1-HBase1.1.3-bin.tar.gz
$ tar xf apache-kylin-1.5.1-HBase1.1.3-bin.tar.gz -C /usr/locak/kylin
$ cd /usr/local/kylin
$ mv apache-kylin-1.5.1-bin/ kylin
环境变量:
export HCAT_HOME=
H
I
V
E
H
O
M
E
/
h
c
a
t
a
l
o
g
h
i
v
e
d
e
p
e
n
d
e
n
c
y
=
HIVE_HOME/hcatalog hive_dependency=
HIVEHOME/hcataloghivedependency=HIVE_HOME/conf:
H
I
V
E
H
O
M
E
/
l
i
b
/
∗
:
HIVE_HOME/lib/*:
HIVEHOME/lib/∗:HCAT_HOME/share/hcatalog/hive
-hcatalog-core-1.2.1.jar
#默认端口7070
配置kylin:
修改 bin/kylin.sh
export KYLIN_HOME=/opt/sxt/kylin
export HBASE_CLASSPATH_PREFIX=
t
o
m
c
a
t
r
o
o
t
/
b
i
n
/
b
o
o
t
s
t
r
a
p
.
j
a
r
:
{tomcat_root}/bin/bootstrap.jar:
tomcatroot/bin/bootstrap.jar:{tomcat_root}/bin/tomcat-juli.jar:
t
o
m
c
a
t
r
o
o
t
/
l
i
b
/
∗
:
{tomcat_root}/lib/*:
tomcatroot/lib/∗:hive_dependency:$HBASE_CLASSPATH_PREFIX
1:kylin.properties
#开启restful 可以用postman去请求
kylin.rest.servers=192.168.1.195:7070
#修改为中国时间
kylin.rest.timezone=GMT+8
#启用压缩最新orc要3.0才支持
#kylin.hbase.default.compression.codec=snappy
定义kylin用于mrjobs的jar包还有hbase的协处理器(帮助我们更好扫描)用于提升性能
kylin.job.jar=/opt/sxt/kylin/lib/kylin-job-1.5.1.jar
kylin.coprocessor.local.jar=/opt/sxt/kylin/lib/kylin-coprocessor-1.5.1.jar
2:kylin_job_conf.xml
#是否启用压缩(如果启用压缩可以减小io传输)
mapred.compress.map.output (默认为false)
mapred.output.compress (默认为false)
启动服务
Kylin本身的启动命令比较简单,
但是由于Kylin依赖的其他组件比较多,
所以把完整的启动步骤整理一下。
1.确保集群时间同步
首先查看集群中的时间是否同步
date
如果时间不一致,需要使用如下命令同步时间:
date -s “20170505 09:21:00”
#(先查看一下任务是否启动jps)
2.启动MySQL
/etc/init.d/mysqld restart
3.启动Zookeeper
zkServer.sh start
4.启动HDFS
start-dfs.sh
5.启动YARN
start-yarn.sh
6.启动JobHistory
mr-jobhistory-daemon.sh start historyserver
7.启动Hbase
start-hbase.sh
8.启动Hive
hive --service metastore > metastore.log 2>&1 &
hive --service hiveserver2 > hiveserver2.log 2>&1 &
9.启动Kylin
kylin.sh start
Kylin的服务监控:
在Jobs页面,点击job详情按钮查看显示于右侧的详细信息。
job详细信息为跟踪一个job提供了它的每一步记录。你可以将光标停放在一个步骤状态图标上查看基本状态和信息。
点击每个步骤显示的图标按钮查看详情:Parameters、Log、MRJob、EagleMonitoring。
Kylin的软件包是自带tomcat服务器(默认端口8080)web服务部署在web服务器上面
如果端口有冲突可以在 tomcat/conf/server.xml修改