CentOS 7 安装 CDH 5.12.1

最新推荐文章于 2025-03-13 20:55:08 发布

wzhwangzhuohui

最新推荐文章于 2025-03-13 20:55:08 发布

阅读量7.7k

点赞数 1

准备4台机器，内存，磁盘尽量给足

node1(master) 192.168.231.128 内存16G,磁盘50G

node2 192.168.231.129 内存3G,磁盘50G

node3 192.168.231.130 内存3G,磁盘50G

node4 192.168.231.131 内存3G,磁盘50G

为了尽可能减少重复劳动，先在node1上配置好所有节点都需要进行的相同操作，然后克隆出其他3台虚拟机 node2，node3，node4

一：下载所需的安装包

1.1）下载cm ，下载地址 http://archive.cloudera.com/cm5/cm/5/ 选择 cloudera-manager-centos7-cm5.12.1_x86_64.tar.gz (708M )

1.2）下载cdh ，下载地址 http://archive.cloudera.com/cdh5/parcels/5.12.1/选择 CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel 、CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel.sha1 (1.6G,慢慢等吧)

1.3）下载 manifest.json 和cdh在同一个页面，下载地址 http://archive.cloudera.com/cdh5/parcels/5.12.1/manifest.json

1.4）下载mysql驱动， https://cdn.mysql.com//Downloads/Connector-J/mysql-connector-java-5.1.44.tar.gz

1.5）下载jdk， http://download.oracle.com/otn-pub/java/jdk/8u144-b01/090f390dda5b47b9b721c7dfaa008135/jdk-8u144-linux-x64.tar.gz

1.6) mysql安装程序， http://mirrors.neusoft.edu.cn/mariadb//mariadb-10.2.7/bintar-linux-x86_64/mariadb-10.2.7-linux-x86_64.tar.gz下载后上传到node1 所有的安装文件都放在 /app 目录下

二：卸载openjdk

CentOS自带OpenJdk，不过运行CDH5需要使用Oracle的JDK，需要Java 7的支持。

卸载自带的OpenJdk，使用rpm -qa | grep java查询java相关的包，使用rpm -e –nodeps 包名卸载之。

三：去Oracle的官网下载jdk安装，最后配置环境变量。

cd /app
tar -zxvf jdk-8u144-linux-x64.tar.gz
vim /etc/profile
export JAVA_HOME=/app/jdk1.8.0_144
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
source /etc/profile

验证是否安装成功

[root@localhost app]# java -version
java version "1.8.0_144"
Java(TM) SE Runtime Environment (build 1.8.0_144-b01)
Java HotSpot(TM) 64-Bit Server VM (build 25.144-b01, mixed mode)

四：关闭防火墙

service iptables stop #临时关闭
chkconfig iptables off #重启后生效
systemctl stop firewalld.service #停止firewall
systemctl disable firewalld.service #禁止firewall开机启动

五：SELinux

set enforce 0 （临时生效）

修改 vim /etc/selinux/config 下的

SELINUX=disabled （重启后永久生效）

# This file controls the state of SELinux on the system.
# SELINUX= can take one of these three values:
# enforcing - SELinux security policy is enforced.
# permissive - SELinux prints warnings instead of enforcing.
# disabled - No SELinux policy is loaded.
SELINUX=disabled
# SELINUXTYPE= can take one of these two values:
# targeted - Targeted processes are protected,
# mls - Multi Level Security protection.
SELINUXTYPE=targeted

六：安装mysql

参见：http://blog.xumingxiang.com/271.html

七：所有节点配置NTP服务

（这一步暂时可以跳过，但是在集群启动以后，会提示时间不同步）

集群中所有主机必须保持时间同步，如果时间相差较大会引起各种问题。具体思路如下：

master节点作为ntp服务器与外界对时中心同步时间，随后对所有datanode节点提供时间同步服务。

所有datanode节点以master节点为基础同步时间。

所有节点安装相关组件：

yum install ntp

启动 ntp：

service ntpd start

设置开机启动:

chkconfig ntpd on

检查是否设置成功：chkconfig –list ntpd其中2-5为on状态就代表成功。

可以通过以下命令先进行时间同步：

ntpdate us.pool.ntp.org

主节点配置（master节点）

vim /etc/ntp.conf

ntp服务只有一个配置文件，配置好了就OK。这里只给出有用的配置，不需要的配置都用#注掉，这里就不在给出（大部分把#去掉即可，不需要添加）：

driftfile /var/lib/ntp/drift
# Permit time synchronization with our time source, but do not
# permit the source to query or modify the service on this system.
restrict default kod nomodify notrap nopeer noquery
restrict -6 default kod nomodify notrap nopeer noquery
# Permit all access over the loopback interface. This could
# be tightened as well, but to do so would effect some of
# the administrative functions.
restrict 127.0.0.1
restrict -6 ::1
# Hosts on local network are less restricted.
restrict 192.168.3.0 mask 255.255.255.0 nomodify notrap
# Use public servers from the pool.ntp.org project.
# Please consider joining the pool (http://www.pool.ntp.org/join.html).
server 0.centos.pool.ntp.org iburst
server 1.centos.pool.ntp.org iburst
server 2.centos.pool.ntp.org iburst
server 3.centos.pool.ntp.org iburst

配置文件完成，保存退出，启动服务，执行如下命令：service ntpd start

检查是否成功，用ntpstat命令查看同步状态，出现以下状态代表启动成功：

synchronisedto NTP server () at stratum 2time correct towithin74 mspolling server every 128 s

如果出现异常请等待几分钟，一般等待5-10分钟才能同步。

在其他节点，直接运行

ntpdate -u node1

(主节点ntp服务器) 即可，和node1同步

这里可能出现同步失败的情况，请不要着急，一般是本地的ntp服务器还没有正常启动，一般需要等待5-10分钟才可以正常同步。启动服务：service ntpd start

因为是连接内网，这次启动等待的时间会比master节点快一些，但是也需要耐心等待一会儿。

八：克隆虚拟机

参见：https://jingyan.baidu.com/article/6b97984d9798f11ca2b0bfcd.html

九：所有节点修改网络配置

修改主机名：

vim /etc/sysconfig/network
HOSTNAME=node1
vim /etc/hostname
node1

注意：/etc/hostname 不可以有其他和主机名无关的内容 #注释也不行，下面的就是错误的

#localhost.localdomain

node1

十：所有节点配置host

修改ip与主机名的对应关系：

vim /etc/hosts
192.168.231.128 node1
192.168.231.129 node2
192.168.231.130 node3
192.168.231.131 node4

十一：所有节点设置ssh无密码登陆，打通SSH

执行

ssh-keygen -t rsa

一路回车，生成无密码的密钥对。

将公钥添加到认证文件中：

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

并设置authorized_keys的访问权限：

chmod 600 ~/.ssh/authorized_keys

通过scp命令将各节点的认证文件拷贝到所有其他节点并追加到authorized_keys，使得各节点能够相互访问。具体如下：

在node1上执行

ssh-keygen -t rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
scp ~/.ssh/id_rsa.pub root@192.168.231.129:~/.ssh/id_rsa_node2.pub
scp ~/.ssh/id_rsa.pub root@192.168.231.130:~/.ssh/id_rsa_node1.pub
scp ~/.ssh/id_rsa.pub root@192.168.231.131:~/.ssh/id_rsa_node1.pub

注意，如果sshd 不是默认的22端口，这需要加上端口号，如：scp ~/.ssh/id_rsa.pub -p 45685 root@192.168.231.131:~/.ssh/id_rsa_node1.pub

在node2上执行

ssh-keygen -t rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
scp ~/.ssh/id_rsa.pub root@192.168.231.128:~/.ssh/id_rsa_node2.pub
scp ~/.ssh/id_rsa.pub root@192.168.231.130:~/.ssh/id_rsa_node2.pub
scp ~/.ssh/id_rsa.pub root@192.168.231.131:~/.ssh/id_rsa_node2.pub

在node3上执行

ssh-keygen -t rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
scp ~/.ssh/id_rsa.pub root@192.168.231.128:~/.ssh/id_rsa_node3.pub
scp ~/.ssh/id_rsa.pub root@192.168.231.129:~/.ssh/id_rsa_node3.pub
scp ~/.ssh/id_rsa.pub root@192.168.231.131:~/.ssh/id_rsa_node3.pub

在node4上执行

ssh-keygen -t rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
scp ~/.ssh/id_rsa.pub root@192.168.231.128:~/.ssh/id_rsa_node4.pub
scp ~/.ssh/id_rsa.pub root@192.168.231.129:~/.ssh/id_rsa_node4.pub
scp ~/.ssh/id_rsa.pub root@192.168.231.130:~/.ssh/id_rsa_node4.pub

在node1上执行

cat ~/.ssh/id_rsa_node2.pub >> ~/.ssh/authorized_keys
cat ~/.ssh/id_rsa_node3.pub >> ~/.ssh/authorized_keys
cat ~/.ssh/id_rsa_node4.pub >> ~/.ssh/authorized_keys

在node2上执行

cat ~/.ssh/id_rsa_node1.pub >> ~/.ssh/authorized_keys
cat ~/.ssh/id_rsa_node3.pub >> ~/.ssh/authorized_keys
cat ~/.ssh/id_rsa_node4.pub >> ~/.ssh/authorized_keys

在node3上执行

cat ~/.ssh/id_rsa_node1.pub >> ~/.ssh/authorized_keys
cat ~/.ssh/id_rsa_node2.pub >> ~/.ssh/authorized_keys
cat ~/.ssh/id_rsa_node4.pub >> ~/.ssh/authorized_keys

在node4上执行

cat ~/.ssh/id_rsa_node1.pub >> ~/.ssh/authorized_keys
cat ~/.ssh/id_rsa_node2.pub >> ~/.ssh/authorized_keys
cat ~/.ssh/id_rsa_node3.pub >> ~/.ssh/authorized_keys

十二：开始安装Cloudera Manager

12.1)在所有节点创建cloudera-scm用户

useradd --system --home-dir /opt/cm-5.12.1/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

12.2）安装Cloudera Manager Server

安装前先保证机器上安装了python，不过一般centos7都默认安装了python2.7.5

主节点解压安装

cloudera manager的目录在/app下，解压：tar xzvf cloudera-manager*.tar.gz 将解压后的cm-5.12.1和cloudera目录放到/opt目录下：

tar -zxvf /app/cloudera-manager-centos7-cm5.12.1_x86_64.tar.gz -C /opt

12.3）将mysql驱动copy到/opt/cm-5.12.1/share/cmf/lib/中：

cp /app/cdh5.12.1/mysql-connector-java-5.1.44-bin.jar /opt/cm-5.12.1/share/cmf/lib/

12.4）在主节点初始化CM5的数据库：

启动mysql，然后

/opt/cm-5.12.1/share/cmf/schema/scm_prepare_database.sh mysql cm -hnode1 -uroot -proot --scm-host node1 scm

在这里后面的参数分别是：数据库类型数据库名称数据库主机名数据库用户名密码 –scm-host cmserver主机名 scm scm scm

会要求输入scm密码

Enter SCM password: scm

如果是非root用户，可能会出现下面这样JAVA_HOME找不到

解决方案：修改scm_prepare_database.sh，在文件开头加上

vim /opt/cm-5.12.1/share/cmf/schema/scm_prepare_database.sh
JAVA_HOME=/app/jdk1.8.0_144
export JAVA_HOME=/app/jdk1.8.0_144

这时我们发现数据库多了一个cm 的数据库

并且mysql.user表里多了一个叫scm的用户

然后mysql shell 客户端登录修改允许scm远程登录

update user set host = '%' where user = 'scm';

然后授权

GRANT all ON *.* TO 'scm'@'%' ;
GRANT all ON *.* TO 'root'@'%' ;
flush privileges;

重启mysql

十三：安装Cloudera Manager Agent

13.1)修改/opt/cm-5.12.1/etc/cloudera-scm-agent/config.ini中的server_host为主节点的主机名。

13.2)同步Agent到其他所有节点：

scp -r /opt/cm-5.12.1 root@node2:/opt/

13.3）准备Parcels，用以安装CDH5

将CHD5相关的Parcel包放到主节点的/opt/cloudera/parcel-repo/目录中（如没有parcel-repo，需要手动创建）

node1 app]# cp CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel /opt/cloudera/parcel-repo/
node1 app]# cp CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel.sha1 /opt/cloudera/parcel-repo/
node1 app]# cp manifest.json /opt/cloudera/parcel-repo/

十四：启动Cloudera Manager

server 和所有节点agent启动成功后就可以在浏览器访问Cloudera Manager

http://192.168.231.128:7180/cmf/login

默认的用户名和密码均为admin：

十五：CDH5的安装配和集群配置

欢迎页面版本选择页面

我们选择Cloudera Express免费版，现在已经没有50个节点的限制

继续

选择主机节点

在这里看到了我们的4个节点node1，node2，node3，node4。勾选所有节点，继续

假如在安装的时候出现问题而中断或重装，如网络连接中断，机器死机，继续安装的时候可能会出现查询不到机器，并且根据ip搜索机器的时候，出现“当前受管”

的状态为“是”，安装失败的机器不能再选择了。

先停止所有服务。清除数据库。

1> 删除Agent节点的UUID
rm -rf /opt/cm-5.12.1/lib/cloudera-scm-agent/*
2> 清空主节点CM数据库进入主节点的Mysql数据库，然后
drop database cm
3> 在主节点上重新初始化CM数据库
/opt/cm-5.12.1/share/cmf/schema/scm_prepare_database.sh mysql cm -hnode1 -uroot -proot --scm-host node1 scm

第6步解释：......../scm_prepare_database.sh 数据库类型数据库名主机账号密码 --scm.......

等待一下，连接访问master:7180即可

集群安装

出现以下包名，说明本地Parcel包配置无误，直接点继续就可以了。如果此处发现不到parcel包，就重启所有节点的agent服务，和master的server服务。

如果parcel包不在默认的/opt/cloudera下面，则需要手动配置，如下图，然后重启cloudera-scm-server 和各节点的cloudera-scm-agent

继续，如果配置本地Parcel包无误，那么下图中的已下载，应该是很快就出现了，然后就是耐心等待分配过程就行了，这个过程的速度就取决于节点之间的传输速度。

如果安装过程中出现过中断再重新安装可能会出现报错“一个或多个主机没有报告其操作系统分配。这可能是由于运行已过期的 Cloudera Manager Agent 版本造成的。请运行 Host Inspector 检查 Agent 版本。”

这个不要慌，耐心等等就好了

在等待的过程中可以打开浏览器控制台查看是否有报错

等待了半个小时左右可以继续了

检测主机正确性

主机检测结果，除了两个黄色警告提示，基本没问题

第一个警告：

Cloudera 建议将 /proc/sys/vm/swappiness 设置为 10。当前设置为 60。使用 sysctl 命令在运行时更改该设置并编辑 /etc/sysctl.conf 以在重启后保存该设置。

echo 10 > /proc/sys/vm/swappiness

这样操作重启机器还是还原，要永久改变

vim /etc/sysctl.conf

vm.swappiness=10

第二个警告，提示执行命令：

echo never > /sys/kernel/mm/transparent_hugepage/defrag

echo never > /sys/kernel/mm/transparent_hugepage/enabled

执行完毕，重启后，警告依然，暂时不处理

接下来是选择安装服务，选择自定义，继续

主机角色分配

续

我们zokeeper选择三个节点，hdfs dataNode选择3个节点，继续

数据库设置，这一步前先建好相应的数据库 hive,oozie,hue

点击测试连接之前先拷贝好mysql驱动

cp /app/cdh5.12.1/mysql-connector-java-5.1.44-bin.jar /opt/cloudera/parcels/CDH-5.12.1-1.cdh5.12.1.p0.3/lib/hive/lib
cp /app/cdh5.12.1/mysql-connector-java-5.1.44-bin.jar /var/lib/oozie

数据库检测成功successful,继续。

如果出现如下错误，hue连不上：

这是因为服务器上缺少了一个组件，安装一下即可

yum install -y python-lxml

图15.15 审核更改，主要是可以设置一些目录，可以修改成自己想要的，如果修改前提是要先创建目录，否侧hdfs会无法启动，并且报错文件夹不存在，并确保访问权限。

我这里保持默认

注意：在进行下一步继续前我们还要做几个事情，不然下一步会报错，会很郁闷，很无解

1）修改/var/log目录权限

chmod -R 777 /var/log

2）修改hadoop-env.sh ，添加JAVA_HOME配置项

vim /opt/cloudera/parcels/CDH-5.12.1-1.cdh5.12.1.p0.3/lib/hadoop/etc/hadoop/hadoop-env.sh

添加

JAVA_HOME=/app/jdk1.8.0_144
export JAVA_HOME=/app/jdk1.8.0_144

3）编辑 vim /opt/cm-5.12.1/lib64/cmf/service/client/deploy-cc.sh

直接在上面加上

JAVA_HOME=/app/jdk1.8.0_144
export JAVA_HOME=/app/jdk1.8.0_144

所有节点都这样设置一下！

4)复制mysql驱动

cp /app/cdh5.12.1/mysql-connector-java-5.1.44-bin.jar /opt/cloudera/parcels/CDH-5.12.1-1.cdh5.12.1.p0.3/lib/hive/lib
cp /app/cdh5.12.1/mysql-connector-java-5.1.44-bin.jar /var/lib/oozie

继续，首次运行