hdfs集群的web ui的端口号是_安装篇：CDH集群下Apache Kylin3.1.0安装

简短介绍

---

大家好，今天分享一款OLAP神器的安装方法。学习靠努力和坚持。能动手的地方不要动嘴(实操胜于一切)。

01

—

Apache Kylin是什么

Apache Kylin是一个开源的、分布式的分析型数据仓库，提供Hadoop/Spark 之上的 SQL 查询接口及多维分析(OLAP)能力以支持超大规模数据，最初由 eBay 开发并贡献至开源社区。它能在亚秒内查询巨大的表。Kylin也是国内首个贡献给Apache的顶级项目。贡献时间是2015年。

图片来自kylin.apache.org

02

—

安装步骤

1、安装包下载

## 下载地址，选择符合集群的安装包。## 本人这里选择了：apache-kylin-3.1.0-bin-cdh60.tar.gzhttp://kylin.apache.org/cn/download/ ## 官网下载地址https://archive.apache.org/dist/kylin ## 历史所有包下载地址

2、将下载的安装包上传到 /opt 目录

3、解压gz包(使用root用户操作)

## 解压tar -zxvf apache-kylin-3.1.0-bin-cdh60.tar.gz## 解压后，可以看见一个 apache-kylin-3.1.0-bin-cdh60 目录

4、将目录重命名(因为名字太长，所以缩短点。 如果觉得没必要， 可忽略)

## 目录重命名，可忽略mv apache-kylin-3.1.0-bin-cdh60 kylin-3.1.0

5、创建一个kylin，用来维护kylin( 如果觉得root用户维护kylin也行，那就忽略此步骤。 可忽略)

## 方式 1、如果集群集成了Ldap，请在ldap中创建kylin用户## 方式 2、如果集群没有集成ldap，使用root用户，在集群所有节点创建kylin用户adduser kylin  ##创建kylin用户passwd kylin ##修改密码

6、将目录授权kylin用户维护( 同步骤5、 可忽略)

chown -R kylin:kylin /opt/kylin-3.1.0

7、修改 ${KYLIN_HOME}/conf/kylin.properties 配置

## ${KYLIN_HOME} 等于kylin安装位置cd /opt/kylin-3.1.0cd confvim kylin.properties ## 修改配置## 再普及下shell常用指令## 1、 vim file_name 进入文件预览 ## 2、按 i 进入编辑  ## 3、 完成 按 esc键退出编辑 ## 4、shift+zz 快捷键保存

kylin.properties 对应配置的内容如下：

## Working folder in HDFS, better be qualified absolute path, make sure user has the right permission to this directory## kylin在hdfs中的工作目录kylin.env.hdfs-working-dir=/kylin### DEV|QA|PROD. DEV will turn on some dev features, QA and PROD has no difference in terms of functions.## 当前kylin作为什么环境存在.QA测试环境kylin.env=QA## Kylin server mode, valid value [all, query, job]## kylin节点类型(all表示:可开发、可查询)kylin.server.mode=all### List of web servers in use, this enables one web server instance to sync up with other servers.## kylin服务的IP:端口kylin.server.cluster-servers=10.100.0.1:7070### Display timezone on UI,format like[GMT+N or GMT-N]## 时区kylin.web.timezone=GMT+8## Hive client, valid value [cli, beeline]## kylin 连接hive的方式: cli 表示客户端, beeline 表示通过jdbc连hive。(推荐beeline)kylin.source.hive.client=beeline## Parameters for beeline client, only necessary if hive client is beeline## beeline 连接串. 如果集群用了ldap 加个参数 -p 密码. (用于刷cube连接hive)kylin.source.hive.beeline-params=-n kylin -p passwd_1 --hiveconf hive.security.authorization.sqlstd.confwhitelist.append='mapreduce.job.*|dfs.*' -u jdbc:hive2://101.10.0.2:10000## Hive database name for putting the intermediate flat tables## hive中临时工作库kylin.source.hive.database-for-flat-table=dc_tmp## 生成的hbase块数量(最小使用2个,提升kylin结果查询效率)kylin.storage.hbase.min-region-count=2kylin.storage.hbase.max-region-count=500## Max count of concurrent jobs running## 最大可同时运行cube构建数量kylin.job.max-concurrent-jobs=1000## If true, will send email notification on job complete## 邮箱配置信息kylin.job.notification-enabled=truekylin.job.notification-mail-enable-starttls=truekylin.job.notification-mail-host=mail.test.comkylin.job.notification-mail-port=25kylin.job.notification-mail-username=usericekylin.job.notification-mail-password=passa@2018kylin.job.notification-mail-sender=tcjfdc_service@lt.com## 如果集群集成了LDAP,可配置下。## 如果集群没有集成Ldap，可忽略下面的配置###========= ldap ## with "testing" profile, user can use pre-defined name/pwd like KYLIN/ADMIN to login## 默认是testing,使用ldap的话需要改成ldapkylin.security.profile=ldap### Admin roles in LDAP, for ldap and saml## 用来做管理员的账号.kylin.security.acl.admin-role=kylin### LDAP authentication configuration## ldap的服务ip和端口号，端口号默认389kylin.security.ldap.connection-server=ldap://xxx.xxx.xxx.xx:389## LDAP的登陆账号，cn=xxx,dc=xxx,dc=xxxkylin.security.ldap.connection-username=cn=Manager,dc=xx,dc=com## 密码kylin是加密的，使用kylin工具来生成：如下是生成方式## cd $KYLIN_HOME/tomcat/webapps/kylin/WEB-INF/lib## java -classpath kylin-server-base-3.1.0-SNAPSHOT.jar:kylin-core-common-3.1.0-SNAPSHOT.jar:spring-beans-4.3.20.RELEASE.jar:spring-core-4.3.20.RELEASE.jar:commons-codec-1.6.jar org.apache.kylin.rest.security.PasswordPlaceholderConfigurer AES 你的密码写这kylin.security.ldap.connection-password=RY/z8cv5DXzPbAB3o2250g==### LDAP user account directory;## 具体用户的oukylin.security.ldap.user-search-base=ou=People,dc=xx,dc=com## 搜索匹配模式，可以是(&(uid={0})),就是dn的kylin.security.ldap.user-search-pattern=(&(cn={0}))## 具体分组的oukylin.security.ldap.user-group-search-base=ou=Group,dc=xx,dc=com#kylin.security.ldap.user-group-search-filter=(|(member={0})(memberUid={1}))### LDAP service account directory 如上kylin.security.ldap.service-search-base=ou=People,dc=xx,dc=comkylin.security.ldap.service-search-pattern=(&(cn={0}))kylin.security.ldap.service-group-search-base=ou=Group,dc=xx,dc=com###========= ldap end

说明：

① 如果集群没有用ldap，忽略ldap相关配置

② 如果启用ldap，注意密码需要额外生成一下。

8、修改日志目录 kylin-server-log4j.properties 配置中.让查找日志更方便。

 vim /opt/kylin-3.1.0/conf/kylin-server-log4j.properties ## 后续日志就会输出到指定的位置

9、检测环境是否正常

sh /opt/kylin-3.1.0/bin/check-env.sh

说明：① 如果不全为pass得一个个问题解决。( 后续专门写篇kylin安装问题解决分享，感兴趣的可关注)10、启动kylin

## 如果创建了kylin，先su 到kylin用户下。再启动sh /opt/kylin-3.1.0/bin/kylin start ## 启动## 启动完成 ，到 步骤8 配置的log目录下查看日志## sh /opt/kylin-3.1.0/bin/kylin stop ## 停止

11、登录kylin界面登录地址：http://ip:7070/kylin/login账号密码:  默认 admin/KYLIN 如果集成了Ldap，使用Ldap账号密码登录。

03

—

小结

kylin安装过程中还是有很多坑。需要大家一步步解决。不要惧怕问题，享受解决问题带来的快乐。这里得吐槽下kylin官方文档，写得有点差劲啊。有些地方都得靠猜。不过整体来说kylin还是很不错的一个组件。本人也是从15年开始使用kylin，自认为对kylin的原理还是比较了解的。持续关注kylin中。

如果大家喜欢可关注公众号，感谢！