CentOS-6.9-x86_64安装CDH-5.8.2

一、环境准备：

1、卸载系统自带JDK

检查：

]# rpm -qa|grep java

卸载：

]# rpm -e --nodeps ***(上面查询的结果)

2、安装JDK

]# rpm -ivh jdk-7u71-linux-x64.rpm

由于是rpm包并不需要我们来配置环境变量，我们只需要配置一个全局的JAVA_HOME变量即可，执行命令：

]# echo "JAVA_HOME=/usr/java/latest/" >> /etc/environment

3、修改集群中各个主机的名称

]# vim /etc/sysconfig/network

NETWORKING=yes

HOSTNAME=master（此处修改主机的名称）

4、配置hosts文件,添加所有节点的IP和名称

]# vim /etc/hosts

10.2.37.62 master

10.2.37.63 slave1

10.2.37.64 slave2

10.2.37.65 slave3

5、集群间免秘钥登陆

]# ssh-keygen -t rsa

在.ssh目录下会生成id_rsa.pub文件，将id_rsa.pub文件追加到authorized_keys文件中（authorized_keys不存的话，需要创建.ssh目录和authorized_keys文件）

6、关闭防火墙

]# service iptables stop

]# chkconfig iptables off

7、关闭SELINUX

]# setenforce 0

]# vim /etc/selinux/config

      SELINUX=disabled

8、安装NTP服务

主节点上配置/etc/ntp.conf文件：

driftfile /var/lib/ntp/drift

     restrict 127.0.0.1

     restrict -6 ::1

     restrict default nomodify notrap

     #和自身保持同步

     server 127.127.1.0

     fudge 127.127.1.0 stratum 8

     includefile /etc/ntp/crypto/pw

     keys /etc/ntp/keys

数据节点配置/etc/ntp.conf文件：

driftfile /var/lib/ntp/drift

     restrict 127.0.0.1

     restrict -6 ::1

     restrict default nomodify notrap

     server master

     includefile /etc/ntp/crypto/pw

     keys /etc/ntp/keys

9、在master节点上安装mysql

9.1、创建依赖数据库

]# mysql -uroot -proot

--hive数据库

mysql>create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci ;

--集群监控数据库

mysql>create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci ;

--hue数据库

mysql>create database hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

--用户授权

mysql> grant all privileges on *.* to '用户名'@'%' Identified by '密码';

mysql> flush privileges;

二、安装Cloudera Manager：

1、解压程序至指定目录

解压程序，必须放在/opt目录下，因为CDH5默认会在/opt/cloudera/parcel-repo寻找安装程序

]# tar -xvzf cloudera-manager-el6-cm5.8.2_x86_64.tar.gz

]# mv cm-5.8.2 /opt

2、创建用户（所有节点）

]# useradd --system --home=/opt/cm-5.8.2/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

3、修改config.ini

]# vim /opt/cm-5.8.2/etc/cloudera-scm-agent/config.ini

   server_host=10.2.37.62   (此处修改为主节点的IP地址)

4、将JDBC驱动添加到lib目录下

]# cp mysql-connector-java-5.1.45-bin.jar /opt/cm-5.8.2/share/cmf/lib/

]# cp mysql-connector-java-5.1.45-bin.jar /usr/share/java

]# mv /usr/share/java/mysql-connector-java-5.1.45-bin.jar mysql-connector-java.jar //此处必须修改名字

5、为 Cloudera Manager 5建立数据库

]# /opt/cm-5.8.2/share/cmf/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot（实际用户） -phadoop（实际用户密码） --scm-host localhost scm scm scm

6、分发数据到各个节点（必须在agent启动之前进行）

]# scp -r /opt/cm-5.8.2 root@slave1:/opt/cm-5.8.2

7、启动cloudera Manager server

]# /opt/cm-5.8.2/etc/init.d/cloudera-scm-server start

7.1、所有节点启动agent服务

]# /opt/cm-5.8.2/etc/init.d/cloudera-scm-agent start

8、准备cdh安装文件

1）将CDH的3个安装文件复制到/opt/cloudera/parcel-repo

2）将.sha1改名为.sha

8.5、由于centOS6.9上确认一些CDH安装依赖的包，所以需要手动安装

8.5.1 首先配置本地yum源

将镜像文件上传至服务器，创建目录/mnt/iso

执行加载镜像文件命令：

]# mount CentOS-6.9-x86_64.iso /mnt/iso(此处地址与CentOS-Media.repo中的baseurl地址一致)

修改CentOS-Media.repo

]# cd /etc/yum.repos.d/

只保留CentOS-Media.repo，将其他的repo都置为失效：

mv *.repo *.repo_bak

]# vim CentOS-Media.repo

[c6-media]

name=CentOS-$releasever - Media

baseurl=file:///media/CentOS/

file:///mnt/iso

file:///media/cdrecorder/

gpgcheck=0

enabled=1 //此处一定记得修改 1位有效，0为失效

gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-6

依赖包1：openssl-devel

使用centOS6.9镜像直接安装 ]# yum install openssl-devel

依赖包:2：python-psycopg2

使用centOS6.8镜像安装 ]# yum install python-psycopg2

依赖包3：mod_ssl

使用准备好的rpm包 ]# yum install mod_ssl-2.2.15-59.el6.centos.x86_64.rpm

依赖包4：MySQL-python

情况一：

假如使用rpm包安装mysql，会造成在安装MySQL-python包的时候依赖的另外一个mysql-libs包，跟mysql-server有冲突，所以此时需要安装MySQL-shared-compat包

情况二：

假如mysql使用源码包安装，则不存在上述问题，执行使用以下命令安装即可 ，使用centOS6.8镜像安装 ]

# yum install MySQL-python

9、配置本地镜像源

centOS6.9默认已经安装httpd服务，检查服务是否打开：

]# service httpd status

启动httpd服务：

]# service httpd start

9.1、配置本地镜像源

将cm5和redhat两个文件夹上传至/var/www/html/，/var/www/html/

在/etc/httpd/conf/httpd.conf配置文件中有标记：DocumentRoot "/var/www/html"

并在/etc/yum.repos.d中增加cloudera-manager.repo配置文件

10、访问服务并安装程序

通过浏览器访问： http://master:7180/cmf

账号/密码：admin/admin

注意：

1）选择免费安装

2）不要选择默认安装oracle jdk

3）选择自定义存储库

三、安装hadoop、hive、zookeeper，hue，hbase：

四、安装spark：

1、将thunk-spark.zip在所有节点上进行解压

]# unzip thunker-spark.zip

2、修改conf下的slaves.template文件并添加所有子节点的IP与名称映射。

]# mv slaves.template slaves

]# vim slaves

slave1

slave2

slave3

3、给解压目录下的startup.sh、shutdown.sh启动和结束脚本赋权

]# chmod 755 startup.sh

]# chmod 755 shutdown.sh

4、上传thunder-default.cnf至解压文件，并修改thunder-default.cnf配置文件

]# vim thunder-default.cnf

# 应用服务的名称

appName=ETL

# spark home 即解压目录

SPARK_HOME=/root/software/sparkdata

HADOOP_CONF_DIR=/root/software/sparkdata/conf

# 需要依赖的第三方插件包目录

ext.jar.dir=/root/software/sparkdata/extlib

# spark对应的master

# 可选值：yarn、local

# spark://bd4:7077

master=yarn

# defaultFS 在CDH中安装的位置

fs.defaultFS=hdfs://master:8020

# yarn相关配置

# 在hadoop集群上使用hdfs用户创建目录/user/root/lib/ 和 /user/root/stage 并赋权给root

# 将/root/software/sparkdata/jars下的所有jar包上传至hadoop集群

spark.yarn.jars=hdfs://master:8020/user/root/lib/*.jar

spark.yarn.stagingDir=hdfs://master:8020/user/root/stage

yarn.resourcemanager.hostname=master

# spark.yarn.am.memory=4g

# spark.driver.memory=2g

# spark.user.name=hdfs

5、拷贝相关配置文件

]# cp /etc/hadoop/conf.cloudera.hdfs/hdfs-site.xml /root/software/sparkdata/conf

]# cp /etc/hadoop/conf.cloudera.hdfs/core-site.xml /root/software/sparkdata/conf

]# cp /etc/hadoop/conf.cloudera.yarn/yarn-site.xml /root/software/sparkdata/conf

]# vim /root/software/sparkdata/thunder-default.cnf

# 添加一行配置：HADOOP_CONF_DIR=/root/software/sparkdata/conf

]# :wq!

6、启动spark服务

]# nohup ./startup.sh ./thunder-default.cnf 2>&1 &