在CDH5.7上安装Kylin2.1单例模式及集群模式

原创 2016年08月29日 16:42:06

Kylin需要在一个Hadoop环境才能运行,本文默认您在安装Kylin前已经安装了hdfs,hive,hbase。
这里写图片描述


下载安装包

Kylin官网下载地址:http://kylin.apache.org/download/
根据自己的CDH版本下载相应的压缩包

解压&配置环境变量

我把apache-kylin-2.1.0-bin-cdh57.tar.gz放在/opt目录下
解压:

tar -xvf apache-kylin-2.1.0-bin-cdh57.tar.gz

配置环境变量

vi /etc/profile

增加

export KYLIN_HOME=/opt/apache-kylin-2.1.0-bin-cdh57

保存后

source /etc/profile

使其生效

配置Kylin.properties

修改kylin.server.cluster-servers为自己的服务器IP

kylin.server.cluster-servers=10.10.1.200:7070

增加(修改成自己的jar包所在的目录)

kylin.job.jar=/opt/apache-kylin-2.1.0-bin-cdh57/lib/kylin-job-2.1.0.jar
kylin.coprocessor.local.jar=/opt/apache-kylin-2.1.0-bin-cdh57/lib/kylin-coprocessor-2.1.0.jar
kylin.job.yarn.app.rest.check.status.url=http://10.10.1.7:8088/ws/v1/cluster/apps/${job_id}?anonymous=true

执行./check-env.sh

这个命令会在hdfs上先创建/kylin目录,执行时会有权限问题,要在切换到hdfs用户目录下执行,否则会出现

mkdir: Permission denied: user=root, access=WRITE, inode="/":hdfs:supergroup:drwxr-xr-x
failed to create /kylin, Please make sure the user has right to access /kylin

启动Kylin

./bin/kylin start

最后输出如下,表示启动成功:

A new Kylin instance is started by hdfs. To stop it, run 'kylin.sh stop'
Check the log at /opt/apache-kylin-2.1.0-bin-cdh57/logs/kylin.log
Web UI is at http://<hostname>:7070/kylin

登录Kylin
User: ADMIN
Pass: KYLIN

大功完成,安装过程起始很简单,主要就是要注意下权限的问题。

Kylin集群模式

上述为Kylin安装的单例模式,接下来是简单的集群模式。
绝大多数采用的Kylin的集群部署方式有两种:
(1)基于CDH的HBASE部署;
(2)重新建立独立的HBASE集群部署Kylin集群。
基于CDH5.7已有的HBASE部署Kylin集群的方式很简单,只需要增加Kylin的节点数,因为Kylin的元数据(Metadata)是存储在HBase中,只需要在Kylin中配置,让Kylin的每个节点都能访问同一个Metadata表就形成了Kylin集群(kylin.metadata.url 值相同)。并且Kylin集群中只有一个Kylin实例运行任务引擎(kylin.server.mode=all),其它Kylin实例都是查询引擎(kylin.server.mode=query)模式。
比如,我已经在10.10.1.200机子上按照上数流程部署了Kylin,同时在10.10.1.201, 10.10.1.202, 10.10.1.203也按照上述配置Kylin。接下里修改Kylin.properties文件

kylin.server.mode=all[主节点为all,从节点值为query]
kylin.server.cluster-servers=10.10.1.200:7070,10.10.1.201:7070,10.10.1.202:707010.10.1.203:7070

在每台机子上都启动Kylin既可以使用Kylin集群了。

版权声明:本文为博主原创文章,未经博主允许不得转载。

kylin2.1.0 + CHD5.7环境搭建

kylin是第一个中国人自主研发的Apache顶级项目,是一个olap系统,本文是针对cdh5.7搭建kylin集群环境并进行测试。...
  • chenguangchun1993
  • chenguangchun1993
  • 2017年11月30日 10:21
  • 178

集群环境中的单例设计模式

何时使用(单例模式):         在创建线程池、缓存等对象时,我们可以使用单例模式来避免资源的浪费。但是如果你想要存储比如产品价格等全局数据的时候,单例模式就成了一种反面模式,要考虑用其他方法...
  • defonds
  • defonds
  • 2013年10月14日 10:55
  • 6199

java集群优化——多线程下的单例模式

在最初学习设计模式时,我为绝佳的设计思想激动不已,在以后的工程中,多次融合设计模式,而在当下的设计中,我们已经觉察出了当初设计模式的高瞻远瞩,但是也有一些不足,需要我们去改进,有人说过,世界上没有绝对...
  • xvshu
  • xvshu
  • 2015年07月28日 17:13
  • 3078

安装CDH5.7.1集群

Hadoop版本选择 目前Hadoop比较流行的主要有2个版本,Apache和Cloudera版本。 Apache Hadoop:维护人员比较多,更新频率比较快,但是稳定性比较差。 Cloudera ...
  • haoxiaoyan
  • haoxiaoyan
  • 2016年11月03日 17:35
  • 798

设计模式之——单例模式(Singleton)的常见应用场景

单例模式(Singleton)也叫单态模式,是设计模式中最为简单的一种模式,甚至有些模式大师都不称其为模式,称其为一种实现技巧,因为设计模式讲究对象之间的关系的抽象,而单例模式只有自己一个对象,也因此...
  • likika2012
  • likika2012
  • 2013年09月09日 16:43
  • 49342

单例模式代码示例

单例模式 单例模式是一种常用的软件设计模式。在它的核心结构中只包含一个被称为单例的特殊类。通过单例模式可以保证系统中一个类只有一个实例 郭霖大神写的博客通俗易懂: http://blog.csd...
  • u014772414
  • u014772414
  • 2016年07月04日 19:41
  • 1064

Kafka单机、集群模式安装详解(二)

本文环境如下: 操作系统:CentOS 6 32位 JDK版本:1.8.0_77 32位 Kafka版本:0.9.0.1(Scala 2.11) 接上篇 Kafka单机、集群模式安装...
  • Lnho2015
  • Lnho2015
  • 2016年05月09日 14:47
  • 5256

centos6.5环境下zookeeper-3.4.6集群环境部署及单机部署详解

centos6.5环境下Zookeeper-3.4.6集群环境部署 【系统】Centos 6.5 【软件】准备好jdk环境,此次我们的环境是open_jdk1.8.0_101     zook...
  • reblue520
  • reblue520
  • 2016年08月22日 19:16
  • 1508

CDH5.7快速离线安装教程

一、简介 CDH是cloudera公司开发的一个快速部署、高效管理Hadoop和其各种组件的一个商业化产品。主要分为两部分,分别为Cloudera Manager和CDH软件包。其中Clouder...
  • u010824591
  • u010824591
  • 2016年04月17日 20:06
  • 16435

Centos6.7 + CDH5.4.5 HADOOP 集群环境离线安装

Centos6.7 +CDH5.4.5 HADOOP 集群环境离线安装             版本历史: 日期 版本 描述 作者 2016-06-11 1.0 C...
  • qq_16620187
  • qq_16620187
  • 2016年07月13日 11:36
  • 761
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:在CDH5.7上安装Kylin2.1单例模式及集群模式
举报原因:
原因补充:

(最多只允许输入30个字)