Centos6.8安装CDH5.9.

来自:https://www.shixinwl.com/article/131

Centos6.8安装CDH5.9.

一.安装包下载

考虑到公司机器不能直接上外网,采用离线安装方式,需要先下载好安装包如下。
Cloudera Manager 5.9http://archive-primary.cloudera.com/cm5/cm/5/cloudera-manager-el6-cm5.9.0_x86_64.tar.gz
CDH5.9 主文件http://archive-primary.cloudera.com/cdh5/parcels/5.9.0.23/CDH-5.9.0-1.cdh5.9.0.p0.23-el6.parcel
CDH5.9 sha文件http://archive-primary.cloudera.com/cdh5/parcels/5.9.0.23/CDH-5.9.0-1.cdh5.9.0.p0.23-el6.parcel.sha1
manifest 文件http://archive-primary.cloudera.com/cdh5/parcels/5.9.0.23/manifest.json
下载后将这些包上传到master机器的 /opt/cdn目录下

二.机器规划

规划搞4台,一台master,三台node节点。
10.31.54.2 node01
10.29.183.60 node02
10.29.182.163 node03
10.29.115.68 node04

三.主机名配置

修改 /etc/hosts 文件,五台机均添加如下内容
10.31.54.2 node01
10.29.183.60 node02
10.29.182.163 node03
10.29.115.68 node04
修改/etc/sysconfig/network文件,在此只列举master机器的配置如下
NETWORKING=yes
HOSTNAME=master
reboot 重启生效

四.免密码登陆配置

SSH免密码登陆,因为HADOOP环境中需要机器传输文件啥的。
在五台机器上均执行命令 ssh-keygen -t rsa,遇到提示一路回车,生成公钥文件
在master上面执行命令 cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
在master上面将授权文件分别拷贝到其它四个节点scp ~/.ssh/authorized_keys root@node01:~/.ssh/
此时的你可以在master上任意scp一个文件到其它节点机器,发现不用输入密码了,恭喜成功了。

五.关闭防火墙

防火墙可能引起Hadoop相关组件之间的通讯,所以关闭它,五台机器均执行以下操作。
service iptables stop (临时关闭)
chkconfig iptables off (重启后生效)
关闭 SELINUXsetenforce 0 临时生效,另外修改修改/etc/selinux/config 下的SELINUX=disabled,重启机器

六.NTP配置

NTP时间同步,集群机器之间必须时间同步,不一定分秒不差,但要保持在一个合理的范围之内,不然服务运行会报错。时间同步有两种方式,一种是五台均同步单独的时钟服务器,一种是使用master本身作为时钟服务器,其它节点同步它,接下来采用第二种方式。

6.1修改配置文件
打开master机器 /etc/ntp.conf 文件,其它地方可以注释,留下如下关键信息,保存退出。
driftfile /var/lib/ntp/drift
restrict 127.0.0.1
restrict -6 ::1
restrict default nomodify notrap
server 127.127.1.0
fudge 127.127.1.0 stratum 8
includefile /etc/ntp/crypto/pw
keys /etc/ntp/keys

6.2启动服务
执行如下命令启动NTP服务,如果服务之前己启动,则重启服务。ntp与自身进行同步需要一小段时间,大约需要5分钟。
service ntpd start
chkconfig ntpd on
使用命令ntpstat检查服务启动后自身是否同步完成,如出现以下信息则完成。
synchronised to local net at stratum 9
time correct to within 12 ms
polling server every 64 s

6.3客户端同步
好了,服务己启动,就差其它节点机器同步了,使用命令ntpdate 172.16.18.150查看结果,如出现以下信息则同步完成。
24 Feb 13:37:35 ntpdate[13675]: adjust time server 172.16.18.150 offset 0.068598 sec

七.JAVA环境安装

JDK环境的安装大家伙都是比较熟悉的啦,一般新安装的系统都会自带OpenJDK版本,使用 rpm-qa|grep java ,如果有则使用命令 yum -y remove xxxx 进行删除,我这里采用的版本是1.8.0_112,将下载好的JDK包解压放至/opt/java目录下
调置环境变量,编辑文件/etc/profile添加如下内容

export JAVA_HOME=/opt/java
export PATH=$JAVA_HOME/bin:$PATH

拷贝JAVA文件与profile文件至其它节点,注意一点,其它节点不需要己经存在java目录,此脚本会自动创建其目录

./scp.sh /opt/java/ /opt/java/
./scp.sh /etc/profile /etc

设置全局变量并生效,在五台机器上均执行如下命令

source /etc/profile
echo "JAVA_HOME=/opt/java" >> /etc/environment

检查JAVA是否安装成功,执行命令java -version出现如下结果

java version "1.8.0_112"
Java(TM) SE Runtime Environment (build 1.8.0_112-b15)
Java HotSpot(TM) 64-Bit Server VM (build 25.112-b15, mixed mode)

八.Mysql安装

8.1安装MYSQL
Mysql安装是供CM使用,只需要在master机器上安装。我采用的是5.6.24版本,需要下载如下安装包,然后依次采用命令 rpm -ivh xxxxx 进行安装,如果中间出现冲突,就先删除再装
mysql-libs-5.1.66-2.el6_3.x86_64.rpm
MySQL-shared-5.6.24-1.el6.x86_64.rpm
MySQL-devel-5.6.24-1.el6.x86_64.rpm
MySQL-server-5.6.24-1.el6.x86_64.rpm
MySQL-client-5.6.24-1.el6.x86_64.rpm

8.2启动MYSQL服务
chkconfig mysql on
service mysql start

8.3修改初始密码
MYSQL启动后,默认其实己经生成了默认密码,密码保存在/root/.mysql_secret文件中,但是这个密码怪怪的,一般为了以后方便起见,都需要改一下,这里我改成123456,执行如下命令。
service mysql stop
mysqld_safe --user=mysql --skip-grant-tables --skip-networking&mysql -u root mysql
mysql> use mysql;
mysql> UPDATE user SET Password=PASSWORD('123456')where USER='root';
mysql> FLUSH PRIVILEGES;
mysql> quit
service mysql restart
mysql -u root –p
Enter password: 123456
mysql>SET PASSWORD=PASSWORD('123456'); (重置密码)
mysql> use mysql; (此DB存放MySQL的各种配置信息)
Database changed
mysql> select host,user from user; (查看是否能够查询) 14

8.4设置远程登陆
执行如下命令
mysql> Grant all privileges on *.* to 'root'@'%' identified by '123456' with grant option; (允许远程用户登录mysql)
mysql>flush privileges;
到此恭喜你MYSQL的环境己基本配置完成

8.5创建CM用的数据库
执行如下命令,这些库是接下来集群安装时所需要的,用意之后再说。
–hive数据库
create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
–oozie数据库
create database oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
–hue数据库
create database hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

九.Cloudera推荐设置

在试安装的过程,发现Cloudera给出了一些警告,如下图

在这里插入图片描述

9.1设置swap空间
echo "vm.swappiness = 10" >> /etc/sysctl.conf
./scp.sh /etc/sysctl.conf /etc/

9.2关闭大页面压缩
试过只设置defrag,但貌似个别节点还是会有警告,干脆全部设置,编辑/etc/rc.local,末尾添加如下命令
echo never > /sys/kernel/mm/transparent_hugepage/enabled
echo never > /sys/kernel/mm/transparent_hugepage/defrag
同步到各个节点机器./scp.sh /etc/rc.local /etc/,然后重启reboot生效。

十.安装CM

1.进入/opt/cdh目录,将CM解压到/opt目录下,不能解压到其他地方,因为cdh5的源会默认在/opt/cloudera/parcel-repo寻找,而CM可以按照个人喜好安装
tar -zxvf cloudera-manager-el6-cm5.9.0_x86_64.tar.gz -C /opt/
mkdir -p /opt/program
mv /opt/cm-5.9.0/ /opt/program/
ln -s /opt/program/cm-5.9.0/ /opt/cm

2.将CDH-5.9.0-1.cdh5.9.0.p0.23-el6.parcelCDH-5.9.0-1.cdh5.9.0.p0.23-el6.parcel.sha1移动到/opt/cloudera/parcel-repo,这样安装时CM就能直接找到了
mv CDH-5.9.0-1.cdh5.9.0.p0.23-el6.parcel CDH-5.9.0-1.cdh5.9.0.p0.23-el6.parcel.sha1 /opt/cloudera/parcel-repo/

3.将CDH-5.9.0-1.cdh5.9.0.p0.23-el6.parcel.sha1重命名为CDH-5.9.0-1.cdh5.9.0.p0.23-el6.parcel.sha(去掉结尾的1),非常重要。我试安装时,这点遗漏了,导致安装CDH的时候一直刷不出5.9版本,通过日志发现,没有manifest.json就会去下载,不能访问外网就报错了,但不影响安装CDH,还是mv一下吧。
mv manifest.json /opt/cloudera/parcel-repo/
cd /opt/cloudera/parcel-repo/
mv CDH-5.9.0-1.cdh5.9.0.p0.23-el6.parcel.sha1 CDH-5.9.0-1.cdh5.9.0.p0.23-el6.parcel.sha

4.修改配置文件中的server_host,编辑/opt/cm/etc/cloudera-scm-agent/config.ini
server_host=master

5.将mysqlJDBC驱动放入CMlib目录下,下载地址http://dev.mysql.com/downloads/connector/j/gzzip都无所谓,最终要的是里面的jar包。解压获得mysql-connector-java-5.1.40-bin.jar上传到集群。
mv mysql-connector-java-5.1.40-bin.jar /opt/cm/share/cmf/lib/

6.为CM创建数据库
/opt/cm/share/cmf/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot -p123456 --scm-host localhost scm scm scm

7.为每个节点创建cloudera-scm用户,五台机均执行
useradd --system --home=/opt/cm/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

8.接下来其实可以直接在master上启动服务安装了,但因为其它节点没有CM,最后还是通过远程的yum在线下载再安装,我这设置了内部网络,其它节点是访问不了外网的,所以拷贝CM到其它节点进行完全离线安装。
拷贝CM到每个节点
./scp.sh /opt/program/cm-5.9.0/ /opt/program/cm-5.9.0/
ln -s /opt/program/cm-5.9.0/ /opt/cm (每台机手动执行)

9.此时就静静的看着屏幕不停的拷贝吧!!!!! 在master上启动CM的service服务
/opt/cm/etc/init.d/cloudera-scm-server start

10.在所有节点上面节点上启动CM的agent服务
/opt/cm/etc/init.d/cloudera-scm-agent start
service服务过程需要启动几分钟,这看机器性能,如果用netstat -apn|grep 7180能够查看到端口占用,就可以用浏览器打开http://masterIP:7180/进行访问,登录用户名与密码分别为admin
到此基本上CM的安装启动己完成,接下来就可以用过WEB界面进行安装CDH了,哗啦哗啦,前面安装的步骤到不是很复杂,但安装的东西倒不少。

十一.安装CDH

1.登陆
2.勾选然后继续
3.按需选择,我选择免费
4.继续
5.因为我们在节点上启动了agent,所以直接点“当前管理的主机”,此时当前管理主机有5个。如果节点上没有CM,只有master上有,这边可以在新主机下去搜索,例如192.168.2.[100-104],但这样最后从节点会去yum在线安装。
6.全部勾上,然后继续
7.选择版本,然后继续
8.开始安装了,等着吧
9.好了之后继续
10.全部是勾,完美!炒鸡兴奋呀
11.集群设置,按需选择
12.角色分配,按需分配,我这里选择默认,妈呀第一次不敢乱动
13.创建Mysql数据库并测试(按需创建,比如你没选oozie,就不用创建oozie的数据库,如下,其实我们己经在前面安装MYSQL的时候己经建库了

十二.参考教程
破击手http://www.cnblogs.com/pojishou/archive/2017/01/12/6267616.html
Cloudera Manager 5 和 CDH5 本地(离线)安装指南http://www.aboutyun.com/thread-9086-1-1.html
http://blog.csdn.net/wumiqing1/article/details/53671045 mysqlclient问题
https://community.cloudera.com/t5/Cloudera-Manager-Installation/Deploy-Client-Configuration-failed-at-upgrade-to-CDH5-4-1-using/m-p/27763 解决deploy client configuration 失败问题
http://www.aboutyun.com/thread-12431-1-1.html yarn无法启动

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值