Kylin 安装部署

Kylin 安装文档:
1:操作系统 Ubuntu 12.04.5 LTS
2:时间问题
时间同步
NTP,Chrony
3.用户
hadoop 如果做集群做免密登录
4:环境要求
Hadoop 2.6
hbase 1.1.3 以上

hive 1.2.1 或者2.0 mysql存放元数据
5:安装目录

cd /usr/local

mkdir /usr/locak/kylin

chown -R aphadoop:aphadoop /usr/locak/kylin

6:kylin
kylin 1.5.1
apache-kylin-1.5.1-HBase1.1.3-bin.tar.gz
$ tar xf apache-kylin-1.5.1-HBase1.1.3-bin.tar.gz -C /usr/locak/kylin
$ cd /usr/local/kylin
$ mv apache-kylin-1.5.1-bin/ kylin

环境变量:
export HCAT_HOME= H I V E H O M E / h c a t a l o g h i v e d e p e n d e n c y = HIVE_HOME/hcatalog hive_dependency= HIVEHOME/hcataloghivedependency=HIVE_HOME/conf: H I V E H O M E / l i b / ∗ : HIVE_HOME/lib/*: HIVEHOME/lib/:HCAT_HOME/share/hcatalog/hive
-hcatalog-core-1.2.1.jar

#默认端口7070
配置kylin:
修改 bin/kylin.sh
export KYLIN_HOME=/opt/sxt/kylin
export HBASE_CLASSPATH_PREFIX= t o m c a t r o o t / b i n / b o o t s t r a p . j a r : {tomcat_root}/bin/bootstrap.jar: tomcatroot/bin/bootstrap.jar:{tomcat_root}/bin/tomcat-juli.jar: t o m c a t r o o t / l i b / ∗ : {tomcat_root}/lib/*: tomcatroot/lib/:hive_dependency:$HBASE_CLASSPATH_PREFIX

1:kylin.properties
#开启restful 可以用postman去请求
kylin.rest.servers=192.168.1.195:7070
#修改为中国时间
kylin.rest.timezone=GMT+8
#启用压缩最新orc要3.0才支持
#kylin.hbase.default.compression.codec=snappy
定义kylin用于mrjobs的jar包还有hbase的协处理器(帮助我们更好扫描)用于提升性能
kylin.job.jar=/opt/sxt/kylin/lib/kylin-job-1.5.1.jar
kylin.coprocessor.local.jar=/opt/sxt/kylin/lib/kylin-coprocessor-1.5.1.jar

2:kylin_job_conf.xml
#是否启用压缩(如果启用压缩可以减小io传输)
mapred.compress.map.output (默认为false)
mapred.output.compress (默认为false)

启动服务
Kylin本身的启动命令比较简单,
但是由于Kylin依赖的其他组件比较多,
所以把完整的启动步骤整理一下。

1.确保集群时间同步
首先查看集群中的时间是否同步
date
如果时间不一致,需要使用如下命令同步时间:
date -s “20170505 09:21:00”
#(先查看一下任务是否启动jps)
2.启动MySQL
/etc/init.d/mysqld restart

3.启动Zookeeper
zkServer.sh start

4.启动HDFS
start-dfs.sh

5.启动YARN
start-yarn.sh

6.启动JobHistory
mr-jobhistory-daemon.sh start historyserver

7.启动Hbase
start-hbase.sh

8.启动Hive
hive --service metastore > metastore.log 2>&1 &
hive --service hiveserver2 > hiveserver2.log 2>&1 &

9.启动Kylin
kylin.sh start

Kylin的服务监控:
在Jobs页面,点击job详情按钮查看显示于右侧的详细信息。
job详细信息为跟踪一个job提供了它的每一步记录。你可以将光标停放在一个步骤状态图标上查看基本状态和信息。
点击每个步骤显示的图标按钮查看详情:Parameters、Log、MRJob、EagleMonitoring。

Kylin的软件包是自带tomcat服务器(默认端口8080)web服务部署在web服务器上面
如果端口有冲突可以在 tomcat/conf/server.xml修改

  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值