Centos7.4.1离线部署CDH5.14.2
一、注意事项
1. 所有步骤如无特别说明都是要在所有服务器上都执行一遍
2. 所有的准备工作都要做,不要漏了或者错了,不然后面出现各种问题再改都是轻的,由此引发的其他的问题就严重多了
3. 所有操作均在root用户下进行
4. 以下是Centos7以tar包形式安装
5. 操作系统为Centos7, 下载的对应Tar包是centos7的,parcels包是el7,否则版本不符合会有n多坑(请各位大侠勿跳)
在生产环境中,很多时候集群管理者并没有开放root权限给你来安装CDH,这时候管理者只会开放部分权限,这时涉及这些已经开放的权限时,必须运用sudo执行。本文接下来先从root权限入手
二、软件包下载地址
这里下载的主要是CM Tar包离线安装, 因为后续安装需要MySQL数据库,所以后续需要下载Mysql的驱动Jar包,还需要下载Oracle的官方JDK1.7以上
- 再强调一遍,操作系统为Centos7: 下载的对应Tar包是centos7的,parcels包是el7,否则版本不符合会有n多坑
- Cloudera ManagerTar包下载地址(选择centos7的版本):Tar包下载地址
- CDH安装包地址(下载对应的3个文件包):CDH parcels包下载地址
- jdbc驱动的MySQL下载地址:驱动下载
- Oracle JDK下载:下载地址
三、安装步骤
1. 首先得安装Centos7操作系统(安装步骤略)
2.修改网络配置和主机名(切换到root用户下)
vi /etc/sysconfig/network
加上
NETWORKING=yes
NETWORKING_IPV6=no
HOSTNAME=gxqpt_cdh01
NTPSERVERARGS=iburst
3.修改网卡信息注释IPV6相关信息
注意:cdh搭建需禁止ipv6(NETWORKING_IPV6 = no)
如果不禁止ipv6会导致通信产生问题,通信一有问题,各个进程可能挂掉,进程超时等问题
4、关闭防火墙和selinux,并设置开机关闭(所有节点)
1)关闭防火墙
查看防火前状态: systemctl status firewalld
查看防火墙是否在运行:firewall-cmd --state
关闭防火墙: systemctl stop firewalld
禁用防火墙:systemctl disable firewalld
2)关闭selinux
vi /etc/sysconfig/selinux 修改SELINUX=disabled
5、修改主机域名映射:vi /etc/hosts(所有节点)
127.0.0.1 localhost.localdomain localhost
::1 localhost6.localdomain6 localhost6
192.168.30.85 cdh01
192.168.30.86 cdh02
192.168.30.87 cdh03
6、windows电脑也添加域名映射,路径是:
C:\Windows\System32\drivers\etc\hosts,修改和Linux主机名
192.168.30.85 cdh01
192.168.30.86 cdh02
192.168.30.87 cdh03
7、禁用IPV6
echo "#禁用IPv6 " >> /etc/modprobe.d/tuned.conf
echo "alias net-pf-10 off" >> /etc/modprobe.d/tuned.conf
echo "alias ipv6 off" >> /etc/modprobe.d/tuned.conf
查看是否追加成功 tail /etc/modprobe.d/tuned.conf
8、关闭透明大页面(所有节点)
1) 临时关闭透明大页面(立即生效)
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled
2) 永久关闭透明大页面(重启生效)
echo ' ' >> /etc/rc.local
echo '# 关闭大透明页面' >> /etc/rc.local
echo 'echo never > /sys/kernel/mm/transparent_hugepage/defrag' >> /etc/rc.local
echo 'echo never > /sys/kernel/mm/transparent_hugepage/enabled'<