CentOS6离线安装CDH5.10.0

目录

CDH5.10.0离线安装手册

1.yum源配置（所有节点）

2.网络配置（所有节点）

3.免密传输与简单传输脚本的使用(主节点)

4.安装Oracle的Java（所有节点）

5.安装配置MySQL（主节点）

6.关闭防火墙和SELinux(所有节点)

7.配置NTP服务(所有节点)

8.安装Cloudera Manager Server 和Agent

9.CDH5.10的安装配置

10.集群安装的正确性检查以及对应措施 

---

CDH5.10.0离线安装手册

以下操作均需要(root)管理员权限

需要准备的文件

cloudera-manager-el6-cm5.10.0_x86_64.tar.gz  

CDH-5.10.0-1.cdh5.10.0.p0.41-el6.parcel     

CDH-5.10.0-1.cdh5.10.0.p0.41-el6.parcel.sha1 

manifest.json

jdk-8u111-linux-x64.tar.gz

mysql-connector-java-5.1.42-bin.jar

测试环境：

虚拟机系统	Ip地址	内存	磁盘容量	角色分配
CentOS6.8	101.12.27.120	16G	200G	SCM Server、SCM Agent
CentOS6.8	101.12.27.121	16G	200G	SCM Agent
CentOS6.8	101.12.27.122	16G	200G	SCM Agent

1.yum源配置（所有节点）

cd  /etc/yum.repos.d/
wget  http://mirrors.aliyun.com/repo/Centos-6.repo
mv  CentOs-Base.repo CentOs-Base.repo.bak
mv Centos-6.repo CentOs-Base.repo
 
yum clean all
yum makecache
yum list #查看yum源是否配置成功。

2.网络配置（所有节点）

修改主机名：

vim /etc/sysconfig/network

NETWORKING=yes
HOSTNAME=cdh1
NETWORKING_IPV6=no
PEERNTP=no

重启网络：

service network restart

重启reboot使主机名生效，Xshell重连各个节点。修改ip与主机名的对应关系：

vim /etc/hosts

127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4[A1] 
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
101.12.27.120 cdh1
101.12.27.121 cdh2
101.12.27.122 cdh3

3.免密传输与简单传输脚本的使用(主节点)

打通ssh，设置无密码登陆（主节点与所有节点(包括自身)免密）

执行ssh-keygen -t rsa，一路回车，生成无密码的密钥对。

将公钥添加到认证文件中：cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys，并设置authorized_keys的访问权限：chmod 600 ~/.ssh/authorized_keys。

通过scp命令将各节点的认证文件，使得主节点到所有其他节点能够单向免密访问。

cdh1操作：

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 600 ~/.ssh/*
scp ~/.ssh/authorized_keys root@cdh2:~/.ssh/authorized_keys
scp ~/.ssh/authorized_keys root@cdh3:~/.ssh/authorized_keys

由于文档中多处需要从主节点分发文件到全部从节点，考虑到实际多节点的使用，简单写个脚本使得后期操作更加方便：

在cdh1/root/路径

[root@cdh1 ~]# vim nodes
Nodes文件内容如下,主节点不用录入
[root@cdh1 ~]# cat ~/nodes
cdh2
cdh3
[root@cdh1 ~]# cat ~/scp.sh
#!/bin/bash
cat ~/nodes | while read host
do
{
    scp -r $1 $host:$2
}&wait
done
[root@cdh1 ~]# chmod 755 scp.sh
[root@cdh1 ~]# chmod 755 nodes
使用时按照如下格式使用：
[root@cdh1 cdh]# ~/scp.sh 欲分发的文件名 从节点对应路径

4.安装Oracle的Java（所有节点）

CentOS自带OpenJdk，不过运行CDH5需要使用oracle的JDK，需要Java 7的支持。

卸载自带的OpenJdk，使用rpm -qa | grep java查询java相关的包，使用rpm -e --nodeps 包名卸载之。

Jdk的选取,可以去官网查看CDH对jdk各个版本的支持程度 利用原本de集群做一个安装。

[root@cdh1 ~]# scp 101.12.27.1:/opt/DataEngine-E0105-RHEL6-X86_64/packages/jdk-8u111-linux-x64.tar.gz /opt/
[root@cdh1 cdh]# ~/scp.sh jdk-8u111-linux-x64.tar.gz /cdh/
jdk-8u111-linux-x64.tar.gz                             100%  173MB  57.7MB/s   00:03   
jdk-8u111-linux-x64.tar.gz                             100%  173MB  57.7MB/s   00:03 
[root@cdh1 ~]#tar -xvzf jdk* -C /usr/local/
[root@cdh1 yum.repos.d]# vim /etc/profile
可以对比DataEngine直接在etc/profile文件末尾加入：
export JAVA_HOME=/usr/local/jdk1.8.0_111/
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
[root@cdh1 cdh]# ~/scp.sh /etc/profile /etc/
profile                                                100% 1938     1.9KB/s   00:00   
profile                                                100% 1938     1.9KB/s   00:00

在cdh2和cdh3也执行相同的解压，以及source，最后各个节点均使用java -version做简单检测。

[root@cdh1 yum.repos.d]# source /etc/profile

5.安装配置MySQL（主节点）

通过yum install mysql-server安装mysql服务器。chkconfig mysqld on设置开机启动，并service mysqld start启动mysql服务，并根据提示设置root的初试密码：mysqladmin -u root password 'xxxx'。

[root@cdh1 ~]# yum list | grep mysql-server
mysql-server.x86_64                      5.1.73-7.el6         @local
[root@test local]# yum -y install mysql-server.x86_64

初始化配置用户名和密码

[root@cdh1 ~]# service mysqld status
mysqld is stopped
[root@cdh1 ~]# service mysqld start
Initializing MySQL database:  Installing MySQL system tables...
OK

初始化设置密码

mysqladmin -u root password 'passwd'
mysql -uroot -ppasswd进入mysql命令行，创建以下数据库：
#hive
create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
# Oozie
create database oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
#Hue
create database hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
#Activity Monitor
create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
#授权root用户在主节点拥有所有数据库的访问权限
grant all privileges on *.* to 'root'@'cdh1' identified by 'passwd' with grant option;
flush privileges;

6.关闭防火墙和SELinux(所有节点)

注意： 需要在所有的节点上执行，因为涉及到的端口太多了，临时关闭防火墙是为了安装起来更方便，安装完毕后可以根据需要设置防火墙策略，保证集群安全。

关闭防火墙：

service iptables stop （临时关闭） 
chkconfig iptables off （重启后生效）

关闭SELINUX（实际安装过程中发现没有关闭也是可以的，不知道会不会有问题，还需进一步进行验证）:

setenforce 0 （临时生效） 

修改 /etc/selinux/config 下的 SELINUX=disabled （重启后永久生效）

7.配置NTP服务(所有节点)

集群中所有主机必须保持时间同步，如果时间相差较大会引起各种问题。 具体思路如下：

master节点作为ntp服务器与外界对时中心同步时间，随后对所有datanode节点提供时间同步服务。

所有datanode节点以对时server节点或master节点为基础同步时间。

所有节点安装相关组件：yum -y install ntp。

完成后，配置开机启动：chkconfig ntpd on,

检查是否设置成功：chkconfig --list ntpd其中2-5为on状态就代表成功。

主节点：

# vim /etc/ntp.conf

server ip     #ip为对时server的IP
server 0.uk.pool.ntp.org
server 1.uk.pool.ntp.org

启动：service ntpd start

开机启动：chkconfig ntpd on

查看NTP服务的运行状况: watch ntpq –p

其他节点:server cdh1 然后启动：service ntpd start

主节点ntpdate -u 101.12.27.1

从节点ntpdate -u 101.12.27.1

8.安装Cloudera Manager Server 和Agent

主节点解压安装

cloudera manager的目录默认位置在/opt下，解压：tar xzvf cloudera-manager*.tar.gz将解压后的cm-5.10.0和cloudera目录放到/opt目录下。

[root@cdh1 cdh]# tar -xvzf cloudera-manager-el6-cm5.10.0_x86_64.tar.gz -C /opt/

为Cloudera Manager 5建立数据库

首先需要去MySql的官网下载JDBC驱动，http://dev.mysql.com/downloads/connector/j/，解压后，找到mysql-connector-java-5.1.42-bin.jar，放到/opt/cm-5.10.0/share/cmf/lib/中。

[root@cdh1 cdh]# cp mysql-connector-java-5.1.42-bin.jar /opt/cm-5.10.0/share/cmf/lib/

Hive的拷贝位置为：# cp /opt/cm-5.10.0/share/cmf/lib/mysql-connector-java-5.1.42-bin.jar /opt/cloudera/parcels/CDH-5.10.0-1.cdh5.10.0.p0.41/lib/hive/lib/

Oozie的拷贝位置为：# cp /opt/cm-5.10.0/share/cmf/lib/mysql-connector-java-5.1.42-bin.jarr /var/lib/oozie/

在主节点初始化CM5的数据库：

/opt/cm-5.10.0/share/cmf/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot -ppasswd --scm-host localhost scm scm scm

Agent配置

修改/opt/cm-5.10.0/etc/cloudera-scm-agent/config.ini中的server_host为主节点的主机名。

serverhost = cdh1

利用之前的scp.sh脚本可直接同步Agent到其他节点

~/scp.sh /opt/cm-5.10.0/ /opt/

在所有节点创建cloudera-scm用户:

useradd --system --home=/opt/cm-5.10.0/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

准备Parcels，用以安装CDH5。

将CHD5相关的Parcel包放到主节点的/opt/cloudera/parcel-repo/目录中。

相关的文件如下：

CDH-5.10.0-1.cdh5.10.0.p0.41-el6.parcel

CDH-5.10.0-1.cdh5.10.0.p0.41-el6.parcel.sha1

manifest.json

最后将CDH-5.10.0-1.cdh5.10.0.p0.41-el6.parcel.sha1，重命名为CDH-5.10.0-1.cdh5.10.0.p0.41-el6.parcel.sha，这点必须注意，否则，系统会重新下载CDH-5.10.0-1.cdh5.10.0.p0.41-el6.parcel.sha1文件。

[root@cdh1 opt]# cp CDH-5.10.0-1.cdh5.10.0.p0.41-el6.parcel /opt/cloudera/parcel-repo/

[root@cdh1 opt]# cp CDH-5.10.0-1.cdh5.10.0.p0.41-el6.parcel.sha1 /opt/cloudera/parcel-repo/

[root@cdh1 opt]# cp manifest.json /opt/cloudera/parcel-repo/

[root@cdh1 opt]# cd /opt/cloudera/parcel-repo/

[root@cdh1 parcel-repo]# mv CDH-5.10.0-1.cdh5.10.0.p0.41-el6.parcel.sha1 CDH-5.10.0-1.cdh5.10.0.p0.41-el6.parcel.sha

[root@cdh1 parcel-repo]#

相关启动脚本

通过/opt/cm-5.10.0/etc/init.d/cloudera-scm-server start启动主节点服务端。

通过/opt/cm-5.10.0/etc/init.d/cloudera-scm-agent start启动主节点Agent服务。此处请注意

我们启动的其实是个service脚本，需要停止服务将以上的start参数改为stop就可以了，重启是restart。

9.CDH5.10的安装配置

Cloudera Manager Server和Agent都启动以后，就可以进行CDH5的安装配置了。

这时可以通过浏览器访问主节点的7180端口测试一下了（由于CM Server的启动需要花点时间，这里可能要等待一会才能访问），默认的用户名和密码均为admin。

点击登录

 

点击继续

   

 

安装过程中

可以查看对应的组件汇总

10.集群安装的正确性检查以及对应措施 

返回上一步，对两个告警进行修改

1.第一个警告可以直接调整设置的数值，所有节点执行

[root@cdh1 log]# echo 10 > /proc/sys/vm/swappiness(临时修改方法)

为保证重启有效，请两种方法一起执行

重启生效：

[root@cdh1 ~]# vim /etc/sysctl.conf

添加一行 vm.swappniess=10

2.第二个告警项所有节点执行如下操作

[root@cdh1 ~]# echo never > /sys/kernel/mm/transparent_hugepage/defrag

[root@cdh1 ~]# echo never > /sys/kernel/mm/transparent_hugepage/enabled

[root@cdh1 ~]# vim /etc/rc.local

添加如下两行

echo never > /sys/kernel/mm/transparent_hugepage/defrag

echo never > /sys/kernel/mm/transparent_hugepage/enabled

这些操作做完后点击下一步进行检查，此时全部检查项均正常 

此处对集群的数据库做配置，与我们之前在数据库mysql中相对应

最后可进入页面对集群和服务做简单操作，如下。