kylin1.6.0_CDH5.7.6本地虚机单机版安装记录

安装准备：
Lenovo X1 Carbon 笔记本（i7八代、8g内存、256g存储）
WIN10 64 位操作系统专业版
Navicat 11.1.6（64-bit）
VMware® Workstation  版本 10.0.1 build-1379776
下载CentOS7.1操作系统
下载地址：http://mirror.nsc.liu.se/centos-store/7.1.1503/isos/x86_64/
用虚拟机直接最小化安装，选择桥接模式，大小25G，主机名hadoop.master，root密码admin，其他默认。
配置虚拟机网络
虚拟机界面点击编辑，打开虚拟机网络编辑器，配置vmnet8，设置无限网络共享到vmnet8


设置虚拟机静态Ip地址
# vi /etc/sysconfig/network-scripts/ifcfg-
两下Tab键
ifcfg-eno16777736  ifcfg-lo 
# vi /etc/sysconfig/network-scripts/ifcfg-eno16777736 
BOOTPROTO=static #dhcp改为static（修改）
ONBOOT=yes #开机启用本配置，一般在最后一行（修改）
IPADDR=192.168.137.201 #静态IP（增加）
GATEWAY=192.168.137.1 #默认网关，虚拟机安装的话，通常是2，也就是VMnet8的网关设置（增加） 
NETMASK=255.255.255.0 #子网掩码（增加） 
DNS1=192.168.137.1 #DNS 配置，虚拟机安装的话，DNS就网关就行，多个DNS网址的话再增加（增加）
虚拟机桥接上网完成。安装基础包
#yum search ifconfig
#yum install net_tools.x86_64
#yum -y install vim*
#yum install httpd
#systemctl enable httpd.service
#systemctl status httpd.service
#systemctl start httpd.service
--安装上传插件：
#yum install -y lrzsz
--rz上传sz下载
vim /etc/hosts

增加 192.168.137.201 hadoop.master

安装mysql（可选）
mysql 5.7.22下载地址：https://dev.mysql.com/downloads/file/?id=476696
#groupadd mysql
#useradd -r -g mysql mysql       -r代表系统用户，不能登录
 
#rm -rf /usr/local/mysql    -----删除
#tar zxvf /data/sortware/mysql-XXX.tar.gz -C /usr/local/----解压
#mv mysql-XXX mysql----重命名
#chown -R mysql:mysql mysql----修改所属
#cp /usr/local/mysql/support-files/mysql.server /etc/init.d/----拷务mysqlq.server至/etc/init.d/设置启动项
2、chmod +x /etc/init.d/mysql    赋予可执行权限
3、chkconfig --add mysql        添加服务
4、chkconfig --list             显示服务列表
如果看到mysql的服务，并且3,4,5都是on的话则成功，如果是off，则键入
chkconfig --level 345 mysql on
5、reboot重启电脑
6、netstat -na | grep 3306，如果看到有监听说明服务启动了
#mv /etc/init.d/mysql.server mysql----重命名
#vi /etc/my.cnf    请按照以下进行配置[client]下的socket一定要跟[mysqld]的一样，否则在进入mysql进提示“ ERROR 2002 (HY000): Can't connect to local MySQL server through socket '/tmp/mysql.sock' (2)”错误。

#mkdir data      ----在/usr/local/mysql 下创建   要改成mysql的所属
#mkdir tmp      ----在/usr/local/mysql  下创建   要改成mysql的所属
#service mysql restart   ----因为修改了配置文件所以需要重启一下
#/usr/local/mysql/bin/mysqld --initialize --user=mysql --datadir=/usr/local/mysql/data --basedir=/usr/local/mysql/    ----初始化
#vi /usr/local/mysql/error.log    出现以下内容就初始化成功了，红框内容为mysql的root临时密码

或者
#cd
#ll -a
打开 .mysql_secret文件查看mysql的初始密码
#cd /usr/local/mysql/bin    ----cd 到bin目录启动mysql
#./mysql -uroot -p     ----使用root登录，输入密码进入mysql（如果输入密码报错，请详细按照上方的步骤进行操作）
>set password = password('123456');     ----修改root密码为123456
>grant all on *.* to 'root'@'%' identified by '123456';      ----修改客户端的远程连接

打开navicat 连接192.168.31.201成功，mysql安装完毕。

安装CDH，依据kylin1.6.0的要求，选择版本为CDH5.7.6
https://www.cloudera.com/downloads/cdh/5-7-6.html
CDH5.7.6支持CentOS (+ SELinux mode in available versions)版本（5.7、5.10、6.4、6.5、6.6、6.7、7.1、7.2）64位
选择Centos 7.1的版本（已安装）：
下载地址 http://mirror.nsc.liu.se/centos-store/7.1.1503/isos/x86_64/
CDH5.7.6支持Mysql版本（5.1、5.5、5.6、5.7）
选择mysql5.7.22（已安装）
下载地址 https://dev.mysql.com/downloads/file/?id=476696
注册cloudera账户
下载cloudera manager 5.7.6 安装文件cloudera-manager-installer.bin
下载地址 http://archive.cloudera.com/cm5/installer/5.7.6/
下载 rpm包 cm5.7.6-centos7.tar.gz
下载地址 http://archive.cloudera.com/cm5/repo-as-tarball/5.7.6/cm5.7.6-centos7.tar.gz
下载CDH parcels文件
下载地址 http://archive.cloudera.com/cdh5/parcels/5.7.6/
安装CDH准备工作
关闭防火墙
查看防火墙状态
systemctl status firewalld.service
停止防火墙
sudo systemctl stop firewalld.service
关闭开机自启动
sudo systemctl disable firewalld.service
关闭SELINUX
查看SELINUX
getenforce
/usr/sbin/sestatus -v
临时关闭
setenforce 0
永久关闭
vi /etc/selinux/config
将SELINUX=enforcing改为SELINUX=disabled 
设置后需要重启才能生效
增加CDH用户
adduser hadoop --增加用户hadoop
passwd hadoop --设置密码admin
Root 用户修改sudo权限给hadoop用户
cd /etc
ll -l| grep sudo
修改sudoers文件添加
vim sudoers
在root    ALL=(ALL)       ALL后面增加一行
hadoop  ALL=(root)NOPASSWD:ALL
配置ssh免密码登陆 
ssh-keygen -t rsa  三个回车
ssh-copy-id hadoop.master
启动httpd服务（hadoop用户）
#sudo  systemctl enable httpd.service
#sudo systemctl status httpd.service
#sudo systemctl start httpd.service
修改宿主机hosts文件 C:\Windows\System32\drivers\etc\hosts
增加192.168.137.201 hadoop.master
开始安装CDH
#cd /opt
#sudo mkdir software
#sudo chown -R hadoop:hadoop /opt  
rz 命令上传 cloudera manager 5.7.6 安装文件cloudera-manager-installer.bin和cm5.7.6-centos7.tar.gz rpm包 到software目录
解压cm5.7.6-centos7.tar.gz 到httpd的目录
#sudo tar -zxf  cm5.7.6-centos7.tar.gz  -C /var/www/html
#cd /var/www/html
#sudo mkdir -p cm5/redhat/7/x86_64/
# sudo mv cm cm5/redhat/7/x86_64/
创建yum源指向本地
cd /etc/yum.repos.d/
sudo vim cloudera-manager.repo
添加如下内容：
[cloudera-manager]
name=cloudera-manager
baseurl=http://hadoop.master/cm5/redhat/7/x86_64/cm/5.7.6/
enabled=1
gpgcheck=0
#yum clean all  -- 刷新yum源
cd /var/software
chmod 777 cloudera-manager-installer.bin
必须有多余5g以上内存，必须用root用户安装
cd /opt/software/
./cloudera-manager-installer.bin （下一步下一步安装）
解压parcels，利用httpd提供本地镜像服务
cd /var/www/html 
mkdir parcels
rz  
parcels\5.7.6 的三个文件 CDH-5.7.6-1.cdh5.7.6.p0.6-el7.parcel manifest.json CDH-5.7.6-1.cdh5.7.6.p0.6-el7.parcel.sha1 将最后一个文件的最后一个1去掉
需要设置如下：
设置缓冲区
sysctl vm.swappiness=10
设置系统变量
vim /etc/sysctl.conf
增加
vm.swappiness=10
echo never > /sys/kernel/mm/transparent_hugepage/defrag
vim /etc/rc.local
增加一行
echo never > /sys/kernel/mm/transparent_hugepage/defrag
选择外部数据库mysql
MySql下载JDBC驱动解压后，找到mysql-connector-java-5.1.33-bin.jar，
解压后放到  /usr/share/java/mysql-connector-java.jar
安装过程中需要联网，因为需要自动下载CDH的外部依赖包
登陆cm，http://hadoop.master:7180 进行CDH的安装，选择Parcel方法安装
并选择上传的版本5.7.6
选择自定义存储库 地址 http://hadoop.master/cm5/redhat/7/x86_64/cm/5.7.6/
按图形化操作安装jdk，不启用单用户
登陆所有主机为其他用户  hadoop用户
关闭hadoop权限，界面中把 “检查hdfs权限” 的对勾去掉
配置java环境变量
#vi /etc/profile
增加下面两行
export JAVA_HOME=/usr/java/jdk1.7.0_67-cloudera
export PATH=$PATH:$JAVA_HOME/bin

#source /etc/profile

时钟同步：
yum -y install ntp
systemctl enable ntpd
systemctl start ntpd
yum install ntpdate
ntpdate -u cn.pool.ntp.org
配置内网NTP服务器（master节点）
在配置之前，先使用ntpdate手动同步一下时间，免得本机与对时中心时间差距太大，使得ntpd不能正常同步。这里选用65.55.56.206作为对时中心。
ntpdate -u 65.55.56.206
ntp服务只有一个配置文件，配置好了就OK。 这里只给出有用的配置，不需要的配置都用#注掉，这里就不在给出：
driftfile /var/lib/ntp/drift
restrict 127.0.0.1
restrict -6 ::1
restrict default nomodify notrap 
server 65.55.56.206 prefer
includefile /etc/ntp/crypto/pw
keys /etc/ntp/keys
配置文件完成，保存退出，启动服务，执行如下命令：
service ntpd start
chkconfig ntpd on (设置开机启动)
检查是否成功，用ntpstart命令查看同步状态，出现以下状态代表启动成功：
synchronised to NTP server () at stratum 2
time correct to within 74 ms
polling server every 128 s
如果出现异常请等待几分钟，一般等待5-10分钟才能同步。
配置ntp客户端（所有datanode节点）
driftfile /var/lib/ntp/drift
restrict 127.0.0.1
restrict -6 ::1
restrict default kod nomodify notrap nopeer noquery
restrict -6 default kod nomodify notrap nopeer noquery
server 192.168.1.101
includefile /etc/ntp/crypto/pw
keys /etc/ntp/keys
ok保存退出，请求服务器前，请先使用ntpdate手动同步一下时间：
ntdate -u 188.188.2.170 (内网ntp服务器)
这里可能出现同步失败的情况，请不要着急，一般是本地的ntp服务器还没有正常启动，一般需要等待5-10分钟才可以正常同步。启动服务：
service ntpd start
chkconfig ntpd on

因为是连接内网，这次启动等待的时间会比master节点快一些，但是也需要耐心等待一会儿。

安装KAFKA

参考CDH官网文档http://www.cloudera.com/content/www/en-us/documentation/kafka/latest/topics/kafka_installing.html
在CDH官网中关于Kafka的安装和升级中已经说到，在CDH中，Kafka作为一个分布式的parcel，单独出来作为parcel分发安装包。只要我们把分离开的kafka的服务描述jar包和服务parcel包下载了，就可以实现完美集成了。
注意集成之前请阅读官方文档，特别是版本支持方面。

集成过程，直接上图：
Kafka安装包准备：
csd包：http://archive.cloudera.com/csds/kafka/
parcel包： http://archive.cloudera.com/kafka/parcels/latest/ （根据自己的集群的系统版本下载 ）
我们这里centos6.7 x64的系统，注意下载对应的parcel包，如下图所示



在此得注意hash值的匹配


CDH集成Kafka实现：
1、将原来Kafka的在CDH中删除
2、csd包放到cm安装节点下的 /opt/cloudera/csd目录下，如图 :

3、将parcel包放到cm安装节点下的/opt/cloudera/parcel-repo目录下，如图：

 
4、启动cm服务，检查更新parcel，分配并激活percel包，注意此处一定要激活才能使用

 
5、添加kafka服务和配置角色节点

6、启动服务
测试hdsf
hdfs dfs -ls /

hdfs dfs -put /.bash_profile /.bash_profile

准备安装kylin1.6.0
https://archive.apache.org/dist/kylin/apache-kylin-1.6.0/
下载三个文件
apache-kylin-1.6.0-cdh5.7-bin.tar.gz
apache-kylin-1.6.0-cdh5.7-bin.tar.gz.asc
apache-kylin-1.6.0-cdh5.7-bin.tar.gz.md5
解压kylin:
tar -zvxf apache-kylin-1.6.0-cdh5.7-bin.tar.gz -C /opt
ln -s apache-kylin-1.6.0-bin-cdh57 kylin
添加环境变量到当前用户的bashrc下:  命令:  vi  ~/.bashrc
export BASE_PATH=/opt/cloudera/parcels/CDH/lib
#added by hbase
export HBASE_HOME=$BASE_PATH/hbase
export PATH=$HBASE_HOME/bin:$PATH
#added by HCat
export HCAT_HOME=$BASE_PATH/hive-hcatalog
​ Kylin server mode, valid value [all, query, job]
​ kyin.server.mode=all
​ kylin.rest.servers=xxxxxx:7070,xxxxxx:7070



修改配置文件：
vim /opt/apache-kylin-1.6.0-cdh5.7-bin/conf/kylin.properties
1、修改kylin.rest.servers=hadoop.master:7070
2、增加 kylin.job.jar=/opt/apache-kylin-1.6.0-cdh5.7-bin/lib/kylin-job-1.6.0.jar
3、增加 kylin.coprocessor.local.jar=/opt/apache-kylin-1.6.0-cdh5.7-bin/lib/kylin-coprocessor-1.6.0.jar
4、kylin.job.yarn.app.rest.check.status.url=http://Hadoop.master:8088/ws/v1/cluster/apps/${job_id}?anonymous=true 
修改/etc/profile
vim /etc/profile
        增加export KYLIN_HOME=/opt/apache-kylin-1.6.0-cdh5.7-bin/
source /etc/profile
开启kylin
./kylin.sh start
http://hadoop.master:7070/kylin/login