kylin在hadoop 中的架构图_hadoop+Kylin服务器搭建教程

公司准备使用Kylin进行数据分析，因此需要进行hadopp+Kylin服务器的搭建和使用。 本教程基于：

Hadoop 2.9.0

HBase 1.1.13

Hive 1.2.2

Kylin 2.2.0

讲解hadoop服务器的搭建流程

1.创建hadoop用户

//添加hadoop用户

sudo useradd -m hadoop -s /bin/bash

//设置用户密码

sudo passwd hadoop

//添加管理员权限

sudo adduser hadoop sudo

复制代码

切换至hadopp用户

2.搭建hadoop服务器

hadoop的搭建可参考hadoop

更新apt源

sudo apt-get update

复制代码

安装SSH、配置SSH无密码登陆

//安装SSH service

sudo apt-get install openssh-server

//登陆本机

ssh localhost

复制代码

此时会有如下提示(SSH首次登陆提示)，输入 yes 。然后按提示输入密码 hadoop，这样就登陆到本机了。 !

但这样登陆是需要每次输入密码的，我们需要配置成SSH无密码登陆比较方便。

首先退出刚才的 ssh，就回到了我们原先的终端窗口，然后利用 ssh-keygen 生成密钥，并将密钥加入到授权中：

exit # 退出刚才的 ssh localhost

cd ~/.ssh/ # 若没有该目录，请先执行一次ssh localhost

ssh-keygen -t rsa # 会有提示，都按回车就可以

cat ./id_rsa.pub >> ./authorized_keys # 加入授权

复制代码

安装JAVA环境

此处安装jdk的Java环境\

下载jdk压缩包

解压压缩包并移动

sudo tar -zxf jdk-8u161-linux-x64.tar.gz #解压

sudo mv jdk1.8.0_161/ /usr/local/java #移动压缩包

复制代码

配置环境变量

$sudo vim ~/.bashrc

//在.bashrc文件中添加环境变量

export JAVA_HOME=/usr/local/java

export JRE_HOME=${JAVA_HOME}/jre

export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib

export PATH=${JAVA_HOME}/bin:$PATH

//刷新变量文件

source ~/.bashrc

echo $JAVA_HOME # 检验变量值

java -version

$JAVA_HOME/bin/java -version # 与直接执行 java -version 一样

复制代码

安装 Hadoop 2

下载稳点版本的hadoop,hadoop下载地址

sudo tar -zxf ~/下载/hadoop-2.6.0.tar.gz #解压

sudo mv hadoop-2.9.0 /usr/local/hadoop # 将文件夹名改为hadoop

cd /usr/local/

sudo chown -R hadoop ./hadoop # 修改文件权限

# 添加环境变量

# set hadoop enviroment

export HADOOP_HOME=/usr/local/hadoop

export PATH=${HADOOP_HOME}/bin:$PATH

export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop

复制代码

Hadoop 解压后即可使用。输入如下命令来检查 Hadoop 是否可用，成功则会显示 Hadoop 版本信息：

cd /usr/local/hadoop

./bin/hadoop version

复制代码

配置Hadoop伪分布模式

Hadoop 的配置文件位于 /usr/local/hadoop/etc/hadoop/ 中，伪分布式需要修改2个配置文件 core-site.xml 和 hdfs-site.xml 。Hadoop的配置文件是 xml 格式，每个配置以声明 property 的 name 和 value 的方式来实现。修改配置文件 core-site.xml (通过 gedit 编辑会比较方便: gedit ./etc/hadoop/core-site.xml)，将当中的 修改为下面配置：

hadoop.tmp.dir

file:/usr/local/hadoop/tmp

Abase for other temporary directories.

fs.defaultFS

hdfs://IP:9000

复制代码

同样的，修改配置文件 hdfs-site.xml：

dfs.replication

1

dfs.namenode.name.dir

file:/usr/local/hadoop/tmp/dfs/name

dfs.datanode.data.dir

file:/usr/local/hadoop/tmp/dfs/data

复制代码

配置完成后，执行 NameNode 的格式化:

./bin/hdfs namenode -format

复制代码

成功的话，会看到 “successfully formatted” 和 “Exitting with status 0” 的提示，若为 “Exitting with status 1” 则是出错。

接着开启 NameNode 和 DataNode 守护进程

./sbin/start-dfs.sh

复制代码

Hadoop安装完后，启动时报Error: JAVA_HOME is not set and could not be found. 解决办法：修改/etc/hadoop/hadoop-env.sh中设JAVA_HOME。应当使用绝对路径。

export JAVA_HOME=$JAVA_HOME //错误，不能这么改

export JAVA_HOME=/usr/java/jdk1.6.0_45 //正确，应该这么改

复制代码

启动完成后，可以通过命令 jps 来判断是否成功启动，若成功启动则会列出如下进程: “NameNode”、”DataNode” 和 “SecondaryNameNode”(如果 SecondaryNameNode 没有启动，请运行 sbin/stop-dfs.sh 关闭进程，然后再次尝试启动尝试)。如果没有 NameNode 或 DataNode ，那就是配置不成功，请仔细检查之前步骤，或通过查看启动日志排查原因。

成功启动后，可以访问 Web 界面 http://localhost:50070 查看 NameNode 和 Datanode 信息，还可以在线查看 HDFS 中的文件。

启动YARN

YARN 是从 MapReduce 中分离出来的，负责资源管理与任务调度。YARN 运行于 MapReduce 之上，提供了高可用性、高扩展性，YARN 的更多介绍在此不展开，有兴趣的可查阅相关资料。

上述通过 ./sbin/start-dfs.sh 启动 Hadoop，仅仅是启动了 MapReduce 环境，我们可以启动 YARN ，让 YARN 来负责资源管理与任务调度。

首先修改配置文件 mapred-site.xml，这边需要先进行重命名：

mv ./etc/hadoop/mapred-site.xml.template ./etc/hadoop/mapred-site.xml

gedit ./etc/hadoop/mapred-site.xml

//添加配置信息

mapreduce.framework.name

yarn

//接着修改配置文件 yarn-site.xml：

yarn.nodemanager.aux-services

mapreduce_shuffle

复制代码

增加以上信息在 yarn-site.xml to enable log aggregation.

yarn是用管理job的调度，然后这个地方需要手动的去开启才可以看到。否则使用sqoop导入数据将会报错。

yarn.log-aggregation-enable

true

复制代码

然后就可以启动 YARN 了(需要先执行过 ./sbin/start-dfs.sh)：

./sbin/start-yarn.sh # 启动YARN

./sbin/mr-jobhistory-daemon.sh start historyserver # 开启历史服务器，才能在Web中查看任务运行情况

http://localhost:8088/cluster

复制代码

开启后通过 jps 查看，可以看到多了 NodeManager 和 ResourceManager 两个后台进程，如下图所示。

3.配置hive，参考Hive

安装mysql

1. sudo apt-get install mysql-server

2. sudo apt-get install mysql-client

3. sudo apt-get install libmysqlclient-dev

4.安装完成之后可以使用如下命令来检查是否安装成功：

sudo netstat -tap | grep mysql

5.登陆mysql数据库可以通过如下命令：

mysql -u root -p

复制代码

下载Hive

wget http://mirror.bit.edu.cn/apache/hive/hive-2.1.1/apache-hive-2.1.1-bin.tar.gz

tar -zxvf apache-hive-2.1.1-bin.tar.gz

sudo mv apache-hive-2.1.1-bin /usr/local/hive

复制代码

配置环境变量(同上)

export HIVE_HOME=/usr/local/hive

export HIVE_CONF_DIR=$HIVE_HOME/conf

export HCAT_HOME=$HIVE_HOME/hcatalog

export HIVE_CONF=$HIVE_HOME/conf

export PATH=${HIVE_HOME}/bin:$PATH

复制代码

在hive的目录下，新建warehouse、tmp、log文件夹。 修改配置文件hive/conf

cp hive-env.sh.template hive-env.sh

cp hive-log4j2.properties.template hive-log4j2.properties

cp hive-default.xml.template hive-site.xml

复制代码

修改hive-env.sh，查找一下字段并去掉前面的注释#，加上相应的路径

export HADOOP_HEAPSIZE=1024

HADOOP_HOME=/usr/local/hadoop

export HIVE_CONF_DIR=/usr/local/hive/conf

复制代码

这儿采用mysql作为hive的元数据库 在自己的mysql中为hive新建一个用户 mysql数据库创建Hive用户

mysql>CREATE USER 'hive' IDENTIFIED BY 'hive';

mysql>GRANT ALL PRIVILEGES ON *.* TO 'hive'@'%' WITH GRANT OPTION;

mysql>flush privileges;

复制代码

修改hive-site.xml文件，添加相应的路径和mysql数据库，用户名，密码

hive.metastore.warehouse.dir

/usr/local/hive/warehouse

location of default database for the warehouse

hive.querylog.location

/usr/local/hive/log

Location of Hive run time structured log file

hive.downloaded.resources.dir

/usr/local/hive/tmp

Temporary local directory for added resources in the remote file system.

javax.jdo.option.ConnectionURL

jdbc:mysql://localhost:3306/hive

JDBC connect string for a JDBC metastore.

To use SSL to encrypt/authenticate the connection, provide database-specific SSL flag in the connection URL.

For example, jdbc:postgresql://myhost/db?ssl=true for postgres database.

javax.jdo.option.ConnectionDriverName

com.mysql.jdbc.Driver

Driver class name for a JDBC metastore

javax.jdo.option.ConnectionUserName

hive

Username to use against metastore database

javax.jdo.option.ConnectionPassword

hive

password to use against metastore database

复制代码

下载mysql-connector-java\

地址：dev.mysql.com/downloads/c…

解压得到mysql-connector-java-5.1.40.jar,拷贝到hive的lib目录下。

登陆MySQL创建hive数据库

mysql> create database hive;

mysql> show databases

复制代码

在进入hive目录下的bin目录，运行命令：./schematool -initSchema -dbType mysql 现在hive已经安装成功，输入hive命令，即可运行hive

如果此时出现这个错误Exception in thread "main" java.lang.IllegalArgumentException: java.net.URISyntaxException: Relative path in absolute URI: ${system:java.io.tmpdir%7D/$%7Bsystem:user.name%7D

解决方案如下：

在hive 配置文件hive-site.xml 中找到${system:java.io.tmpdir}，并把此都替换成具体目录，如/usr/local/hive/iotmp

Kylin用 HCatalog 读取Hive表的，而HCatalog用 property hive.metastore.uris 创建HiveMetaStoreClient 得到元信息。因此，我们还需修改hive-site.xml：

hive.metastore.uris

thrift://localhost:9083

Thrift URI for the remote metastore. Used by metastore client to connect to remote metastore.

复制代码

开启metastore 服务：

nohup hive --service metastore -p 9083 &

复制代码

4.Hbase部署

下载文档版本的Hbanse,下载地址

解压并配置相关环境变量

tar -zxvf hbase-1.2.6-bin.tar.gz

sudo mv hbase-1.2.6 /usr/local/hbase

sudo vim ~/.bashrc

export HBASE_HOME=/usr/local/hbase

export PATH=$PATH:$HIVE_HOME/bin:$HBASE_HOME/bin

复制代码

伪分布部署：

伪分布模式需要用到hadoop文件系统 ，所以配置会比单机模式麻烦很多 并且需要版本匹配；

修改conf/hbase-env.sh

# 添加java环境变量和hbase_classpath(指向hadoop的配置文件目录)

export JAVA_HOME=/usr/local/java

#通过hadoop的配置文件找到hadoop集群

export HBASE_CLASSPATH=/usr/local/hadoop/etc/hadoop

#使用HBASE自带的zookeeper管理集群

export HBASE_MANAGES_ZK=true

复制代码

编辑hbase-site.xml

hbase.rootdir

hdfs://hadoopIp:9000/hbase

hbase.cluster.distributed

true

hbase.zookeeper.property.dataDir

/usr/local/hbase/zookeeper

hbase.zookeeper.quorum

hadoopIp

复制代码

进入bin目录以root权限开启HBase服务：

# 注意在开启hbase服务之前，一定要运行一下sudo chown -R hadoop ./hbase

./start-hbase.sh

#访问http://172.60.20.12:16010/master-status 地址即可查看Hbase的配置信息

复制代码

5.部署Kylin

sudo tar -zxf apache-kylin-2.1.0-bin-hbase1x.tar.gz sudo mv apache-kylin-2.1.0-bin-hbase1x /usr/local/kylin

配置~/.bashrc文件，添加如下环境变量，并生效。

export KYLIN_HOME=/usr/local/kylin

export hive_dependency=$HIVE_HOME/conf:$HIVE_HOME/lib/*:$HCAT_HOME/share/hcatalog/hive-hcatalog-core-1.2.2.jar

PATH=$PATH:$HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$ZOOKEEPER_HOME/bin

PATH=$PATH:$HBASE_HOME/bin:$FLUME_HOME/bin:$HIVE_HOME/bin:$HCAT_HOME/bin

PATH=$PATH:$CATALINA_HOME/bin:$KYLIN_HOME/bin

export PATH

复制代码

修改kylin.properties配置文件

#修改

kylin.server.cluster-servers=192.168.1.201:7070

#添加配置

kylin.job.jar=/usr/local/apps/kylin/lib/kylin-job-2.1.0.jar

kylin.coprocessor.local.jar=/usr/local/apps/kylin/lib/kylin-coprocessor-2.1.0.jar

kylin.job.yarn.app.rest.check.status.url=http://192.168.1.202:8088/ws/v1/cluster/apps/${job_id}?anonymous=true

复制代码

注意：kylin 本身有bug，安装成功之后会关联不到hive/lib 需要修改kylin.sh 文件。 查找HBASE_CLASSPATH_PREFIX行，并修改为

export HBASE_CLASSPATH_PREFIX=${KYLIN_HOME}/conf:${KYLIN_HOME}/lib/*:${KYLIN_HOME}/ext/*:${hive_dependency}:${HBASE_CLASSPATH_PREFIX}

复制代码

设置完毕之后即可通过kylin.sh start命令启动项目，访问http://XXX.XX.XX.XX:7070/kylin 进入Web管理界面。

注意： 当打开Kylin主页显示无法加载Kylin.config时，请关闭kylin中自带的tomcat的ssl认证和gzip功能.