(一)安装前的规划
(1)操作系统版本:centos7.4(64bit)
[root@hadoop22 etc]# more /etc/centos-release CentOS Linux release 7.4.1708 (Core) [root@hadoop22 installPackage]# cat /proc/version Linux version 3.10.0-693.el7.x86_64 (builder@kbuilder.dev.centos.org) (gcc version 4.8.5 20150623 (Red Hat 4.8.5-16) (GCC) ) #1 SMP Tue Aug 22 21:09:27 UTC 2017
[root@hadoop22 installPackage]# getconf LONG_BIT #确认OS是32bit还是64bit 64
(2)软件安装包
类型 | 安装包 | 下载地址 |
CM | cloudera-manager-centos7-cm5.7.6_x86_64.tar.gz | http://archive.cloudera.com/cm5/cm/5/ |
CDH | 3个安装包: CDH-5.7.6-1.cdh5.7.6.p0.6-el7.parcel.sha1 CDH-5.7.6-1.cdh5.7.6.p0.6-el7.parcel manifest.json | http://archive.cloudera.com/cdh5/parcels/ |
JDK | jdk-8u161-linux-x64.tar.gz | http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html |
mysql数据库 | mysql-5.7.16-1.el7.x86_64.rpm-bundle.tar | http://dev.mysql.com/get/Downloads/MySQL-5.7/mysql-5.7.16-1.el7.x86_64.rpm-bundle.tar |
jdbc | mysql-connector-java-5.1.46.tar.gz | https://dev.mysql.com/downloads/connector/j/3.0.html |
(3)主机规划
本次采用vmware虚拟机安装,主机规划如下:
IP地址 | 主机名 | CPU | 内存 | 备注 |
10.141.71.22 | hadoop22 | 2颗 x 1核 | 16GB | 主节点 |
10.141.71.23 | hadoop23 | 2颗 x 1核 | 8GB | |
10.141.71.24 | hadoop24 | 2颗 x 1核 | 8GB | |
10.141.71.25 | hadoop25 | 2颗 x 1核 | 8GB |
(二)配置服务器
(1)修改主机名
因为虚拟机是通过vmware的克隆功能拷贝的,4台虚拟机名称相同,我们需要将其修改为规划的名称。使用"hostnamectl set-hostname 主机名"即可修改,例如将hadoop22修改为hadoop23:
hostnamectl set-hostname hadoop23
(2)配置网卡信息
这里我们采用固定IP,执行修改配置文件即可,网卡的配置文件在"/etc/sysconfig/network-script/"下面,以hadoop22这台主机为例,这里使用的网卡为:ifcfg-ens33,将其配置信息修改为如下:
[root@hadoop22 network-scripts]# vim /etc/sysconfig/network-scripts/ifcfg-ens33
# 修改为下面
TYPE=Ethernet NAME=ens33 UUID=a043a2bb-babb-4864-8e2a-c2c98dbdd8b5 DEVICE=ens33 ONBOOT=yes IPADDR=10.141.71.22 NETMASK=255.255.255.0 GATEWAY=10.141.71.254
其它节点一次如上修改。
(3)添加主机节点映射
修改4台主机的"/etc/hosts"文件即可:
[root@hadoop22 ~]# vim /etc/hosts 127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4 ::1 localhost localhost.localdomain localhost6 localhost6.localdomain6 10.141.71.22 hadoop22 10.141.71.23 hadoop23 10.141.71.24 hadoop24 10.141.71.25 hadoop25
注意,127.0.0.1和::1不能删除。
(4)关闭防火墙
[root@hadoop22 ~]# systemctl stop firewalld.service #停止firewall [root@hadoop22 ~]# systemctl disable firewalld.service #禁止firewall开机启动,如果不执行,服务器重启之后firewall会启动 [root@hadoop22 ~]# firewall-cmd --state #查看防火墙状态 not running
(5)关闭selinux
修改"/etc/selinux/config"文件,将SELINUX值改为disabled。
[root@hadoop22 ~]# vi /etc/selinux/config SELINUX=disabled
(6)配置ssh无密码访问
要达到的效果:主节点到其它节点不需要密码就能访问。
(6.1)执行以下命令:
[root@hadoop22 ~]# ssh-keygen -t rsa
此时会生成.ssh文件
[root@hadoop22 ~]# pwd /root [root@hadoop22 ~]# ll -a ... drwx------. 2 root root 80 Apr 6 15:48 .ssh ...
里面有2个文件
[root@hadoop22 .ssh]# ll total 16 -rw-------. 1 root root 1679 Apr 6 15:46 id_rsa -rw-r--r--. 1 root root 395 Apr 6 15:46 id_rsa.pub
(6.2)添加公钥到认证文件中
[root@hadoop22 .ssh]# cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
(6.3)然后把authorized_keys文件scp到其它节点,在这之前,需要在其它节点先创建.ssh文件夹
[root@hadoopxx ~]# mkdir .ssh # 在23、24、25节点执行 [root@hadoop22 ~]# scp ~/.ssh/authorized_keys root@10.141.71.23:~/.ssh/ [root@hadoop22 ~]# scp ~/.ssh/authorized_keys root@10.141.71.24:~/.ssh/ [root@hadoop22 ~]# scp ~/.ssh/authorized_keys root@10.141.71.25:~/.ssh/
注意,确保.ssh文件夹的权限为700,id_rsa.pub和authorized_keys权限为644,其他权限都会导致SSH出问题。
(7)时间同步配置
CDH集群的时间必须同步,,否则安装完成会报错:不良 : 无法找到主机的 NTP 服务,或该服务未响应时钟偏差请求。如下图:
(7.1)NTP规划
由于我是在局域网内安装,不能访问互联网,故采用hadoop22的本地时间来做同步。规划如下:
NTP属性 | 主机 | IP地址 |
NTP server | hadoop22 | 10.141.71.22 |
NTP client | hadoop23 hadoop24 hadoop25 | 10.141.71.23 10.141.71.24 10.141.71.25 |
(7.2)查看是否安装了NTP软件包
[root@hadoop22 ~]# rpm -qa ntp ntp-4.2.6p5-25.el7.centos.2.x86_64
centos7.4自带了ntp软件包,无需再安装。
(7.3)修改NTP server
修改"/etc/ntp.conf"配置文件,如下:
driftfile /var/lib/ntp/drift # Permit time synchronization with our time source, but do not # permit the source to query or modify the service on this system. restrict default ignore #新增行1 restrict 10.141.71.0 mask 255.255.255.0 notrap nomodify #新增行2:运行71网段的所有IP同步
/var/lib/ntp/drift #新增行3 fudge 127.127.1.0 stratum 10 #新增行4 # Permit all access over the loopback interface. This could # be tightened as well, but to do so would effect some of # the administrative functions. restrict 127.0.0.1 restrict ::1 # Hosts on local network are less restricted. #restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap # Use public servers from the pool.ntp.org project. # Please consider joining the pool (http://www.pool.ntp.org/join.html). server 127.127.1.0 #新增行5:ntp server服务器地址,127.127.1.0是本服务器的IP
server 10.141.71.22 #新增行6:ntp server服务器地址
#broadcast 192.168.1.255 autokey # broadcast server
#broadcastclient # broadcast client
(7.4)NTP client
去除原来的ntp server,添加新的ntp server
# Use public servers from the pool.ntp.org project. # Please consider joining the pool (http://www.pool.ntp.org/join.html). server 10.141.71.22 #新增行1:添加ntp服务器
(7.5)启动ntp服务
在所有节点上执行如下命令启动ntp服务
# /bin/systemctl restart ntpd.service #启动ntp服务
# /bin/systemctl enable ntpd.service #设置开机启动
查看NTP状态:service ntpd status
(7.6)查看ntp服务时间同步信息
ntpdc用于查询ntpd守护进程对其当前状态和要求的变化。程序可以运行在交互模式下使用命令行参数或控制。ntpdc -np可以看到所使用的时间服务器。
我的ntp服务器信息如下:ntpdc -np
我的ntp客户端信息如下:ntpdc -np
(7.7)进行时间同步
ntpdate -u 10.51.120.12
在ntp client节点执行ntpdate hadoop22命令,将所有客户端的时间与服务器同步
说明:NTP服务启动需要大约五分钟时间,服务启动之前,若客户端同步时间,则会出现错误“no server suitable for synchronization found”
(7.8)配置每天进行一次时间同步
在3台ntp client上配置crontab,执行:
[root@hadoop23 ~]# crontab -e # 添加1行 30 12 * * * /usr/sbin/ntpdate 10.141.71.22 >> /tmp/ntdp.log
该行信息表示,每天12:30执行一次时间同步,并将执行结果输出到"/tmp/ntpd.log"文件中。
(8)jdk安装
在所有节点安装jdk,这里现在主节点安装,然后scp到其它节点。
(8.1)查找已安装的openjdk
[root@hadoop22 ~]# rpm -qa |grep java javapackages-tools-3.4.1-11.el7.noarch java-1.8.0-openjdk-headless-1.8.0.131-11.b12.el7.x86_64 tzdata-java-2017b-1.el7.noarch python-javapackages-3.4.1-11.el7.noarch java-1.8.0-openjdk-1.8.0.131-11.b12.el7.x86_64 #open jdk java-1.7.0-openjdk-1.7.0.141-2.6.10.5.el7.x86_64 #open jdk java-1.7.0-openjdk-headless-1.7.0.141-2.6.10.5.el7.x86_64 #open jdk
(8.2)卸载已安装的openjdk
# rpm -e --nodeps java-1.7.0-openjdk-headless-1.7.0.141-2.6.10.5.el7.x86_64 # rpm -e --nodeps java-1.8.0-openjdk-1.8.0.131-11.b12.el7.x86_64 # rpm -e --nodeps java-1.7.0-openjdk-1.7.0.141-2.6.10.5.el7.x86_64
(8.3)安装新的jdk
解压下载好的jdk,并重新命名(重新命名只是方便简化路径)
[root@hadoop22 opt]# tar -xzvf /root/Desktop/installPackage/jdk-8u161-linux-x64.tar.gz
[root@hadoop22 opt]# mv jdk1.8.0_161 jdk1.8 [root@hadoop22 opt]# ls jdk1.8 rh
(8.4)配置环境变量
root@hadoop22 opt]# vim /etc/profile #添加以下: export JAVA_HOME=/opt/jdk1.8 export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar export PATH=$PATH:$JAVA_HOME/bin
(8.5)使生效
[root@hadoop22 opt]# source /etc/profile
(8.6)测试
[root@hadoop22 opt]# echo $JAVA_HOME /opt/jdk1.8
(8.7)复制到其它节点:
scp -r /opt/jdk1.8 root@10.141.71.23:/opt scp -r /opt/jdk1.8 root@10.141.71.24:/opt scp -r /opt/jdk1.8 root@10.141.71.25:/opt
(8.8)修改环境变量,见8.4
(9)安装mysql数据库
mysql数据库只需要在主节点(hadoop22)安装即可
(9.1)卸载mariadb
[root@hadoop22 installPackage]# rpm -qa |grep mariadb mariadb-libs-5.5.56-2.el7.x86_64 [root@hadoop22 installPackage]# rpm -e --nodeps mariadb-libs-5.5.56-2.el7.x86_64
(9.2)解压mysql
[root@hadoop22 opt]# tar -xvf /root/Desktop/installPackage/mysql-5.7.16-1.el7.x86_64.rpm-bundle.tar [root@hadoop22 opt]# ls jdk1.8 mysql-community-libs-5.7.16-1.el7.x86_64.rpm mysql-community-client-5.7.16-1.el7.x86_64.rpm mysql-community-libs-compat-5.7.16- 1.el7.x86_64.rpm mysql-community-common-5.7.16-1.el7.x86_64.rpm mysql-community-minimal-debuginfo-5.7.16- 1.el7.x86_64.rpm mysql-community-devel-5.7.16-1.el7.x86_64.rpm mysql-community-server-5.7.16- 1.el7.x86_64.rpm mysql-community-embedded-5.7.16-1.el7.x86_64.rpm mysql-community-server-minimal-5.7.16- 1.el7.x86_64.rpm mysql-community-embedded-compat-5.7.16-1.el7.x86_64.rpm mysql-community-test-5.7.16-1.el7.x86_64.rpm mysql-community-embedded-devel-5.7.16-1.el7.x86_64.rpm rh
(9.3)只需要按顺序安装4个包即可
[root@hadoop22 opt]# rpm -ivh mysql-community-common-5.7.16-1.el7.x86_64.rpm [root@hadoop22 opt]# rpm -ivh mysql-community-libs-5.7.16-1.el7.x86_64.rpm [root@hadoop22 opt]# rpm -ivh mysql-community-client-5.7.16-1.el7.x86_64.rpm [root@hadoop22 opt]# rpm -ivh mysql-community-server-5.7.16-1.el7.x86_64.rpm
(10.4)mysql起停
# 查看mysql是否启动 service mysqld status # 启动mysql service mysqld start # 停止mysql service mysqld stop # 重启mysql service mysqld restart
(10.5)设定开机自启动
[root@hadoop22 opt]# vim /etc/rc.local 添加 service mysqld start
(9.6)确认mysql初始密码
[root@hadoop22 log]# more /var/log/mysqld.log |grep password 2018-04-03T11:50:22.636798Z 1 [Note] A temporary password is generated for root@localhost: xMsoLF;oa7h=
(9.7)登录mysql
[root@hadoop22 log]# mysql -p Enter password: Welcome to the MySQL monitor. Commands end with ; or \g. Your MySQL connection id is 2 Server version: 5.7.16
(9.8)修改密码(大写+小写+特殊字符)
mysql> set password = password("Mysql_123456"); Query OK, 0 rows affected, 1 warning (0.00 sec)
(9.9)使用新密码重新登陆就好了
[root@hadoop22 log]# mysql -uroot -pMysql_123456
(9.10)创建3个数据库,并授权
create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci; create database sentry DEFAULT CHARSET utf8 COLLATE utf8_general_ci; create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci; grant all privileges on *.* to 'root'@'hadoop22' identified by 'Mysql_123456' with grant option; flush privileges;
(三)安装CM
(1)在主节点解压cloudera manager
cloudera manager默认安装在"/opt"目录下,进入"/opt"目录,解压安装包,生成2个文件夹cloudera和cm-5.7.6
[root@hadoop22 ~]# cd /opt [root@hadoop22 opt]# tar -xzvf /root/Desktop/installPackage/cloudera-manager-centos7-cm5.7.6_x86_64.tar.gz
(2) 在主节点为cloudera manager建立数据库
首先解压jdbc包:
# tar -xzvf mysql-connector-java-5.1.46
解压后的文件如下:
其中"mysql-connector-java-5.1.46-bin.jar"是我们需要的,将其拷贝到"/opt/cm-5.7.6/share/cmf/lib"路径下。
在主节点初始化CM的数据库:
/opt/cm-5.7.6/share/cmf/schema/scm_prepare_database.sh mysql -hhadoop22 -uroot -pMysql_123456 --scm-host hadoop22 scm scm Scm_123456
说明:这个脚本就是用来创建和配置CMS需要的数据库的脚本。各参数是指:
mysql:数据库用的是mysql,如果安装过程中用的oracle,那么该参数就应该改为oracle。
-hhadoop22:数据库建立在hadoop22主机上面。也就是主节点上面。注意主机前面有个“h”
-uroot:root身份运行mysql。-Mysql_123456:mysql的root密码是Mysql_123456。
--scm-host hadoop22:CMS的主机,一般是和mysql安装的主机是在同一个主机上。
最后三个参数是:数据库名,数据库用户名,数据库密码。
(3)agent配置
修改主节点的agent配置文件,仅需修改server_host参数即可:
[root@hadoop22 ~]# vim /opt/cm-5.7.6/etc/cloudera-scm-agent/config.ini server_host=hadoop22
(4)将CM拷贝到其它节点
scp -r /opt/cm-5.7.6/ root@hadoop23:/opt/ scp -r /opt/cm-5.7.6/ root@hadoop24:/opt/ scp -r /opt/cm-5.7.6/ root@hadoop25:/opt/
(5)再所有节点创建cloudera-scm用户
useradd --system --home=/opt/cm-5.7.6/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm
(6)准备parcels,用于安装CDH5
将CDH5相关的包放到主节点的"/opt/cloudera/parcel-repo"路径下,parcels相关文件有以下3个
[root@hadoop22 parcel-repo]# cd /opt/cloudera/parcel-repo/ [root@hadoop22 parcel-repo]# ll -rw-r--r--. 1 root root 1448796525 Apr 5 18:40 CDH-5.7.6-1.cdh5.7.6.p0.6-el7.parcel -rw-r--r--. 1 root root 41 Apr 5 18:37 CDH-5.7.6-1.cdh5.7.6.p0.6-el7.parcel.sha1 -rw-r--r--. 1 root root 51240 Apr 5 18:38 manifest.json
重命名"CDH-5.7.6-1.cdh5.7.6.p0.6-el7.parcel.sha1"为"CDH-5.7.6-1.cdh5.7.6.p0.6-el7.parcel.sha",如果不修改,系统会重新下载"CDH-5.7.6-1.cdh5.7.6.p0.6-el7.parcel"文件。
(7)启动cm server
启动脚本使用方法如下:
[root@hadoop22 ~]# /opt/cm-5.7.6/etc/init.d/cloudera-scm-server Usage: cloudera-scm-server {start|force_next_start|stop|restart|status|condrestart}
(7.1)在主节点启动cm server
[root@hadoop22 ~]# /opt/cm-5.7.6/etc/init.d/cloudera-scm-server start
(7.2)在所有节点(包括主节点)启动cm agent
[root@hadoop23 ~]# /opt/cm-5.7.6/etc/init.d/cloudera-scm-agent start
(7.3)查看server和agent的状态
在主节点,server和agent都在运行:
其它节点,server不运行,只有agent运行:
(8)开始安装CM
(8.1)登陆http://10.141.71.22:7180
选择免费版本,继续
选择主机,全部选上,继续
选择安装方式,我们使用Parcesl,继续
漫长的等待
自定义安装,仅安装zookeeoer即可,其他的服务待需要的时候在进行安装。
最终安装结果如图所示: