说明:本篇安装教程使用root用户进行操作,其实使用普通用户进行操作也是可以的,只是要求用户可以不输入密码使用sudo权限,其实安装过程中基本所有的步骤都需要有root权限普通用户进行操作的时候需要加上sudo,sudo操作其实就等于使用root用户操作,然后再切换到普通用户,多此一举,所以全部操作都使用root进行操作了。
环境要求
系统:centos7.5系统,要求主机之间时间同步
内存:各个节点的物理内存最好大于8G,磁盘容量大于20G
主机:192.168.1.1
192.168.1.2
192.168.1.3
一 环境准备工作,需要在所有节点上操作
1.修改静态IP
vi /etc/sysconfig/network-scripts/ifcfg-ens33
按照下面的进行修改,可能有些人的不是ens-33,找类似的修改。
第二行的BOOTPROTO修改成static,最后一行的ONBOOT修改成yes
然后在后面追加设置的静态IP地址,网关,DNS和网关保持一样就可以,网络是网通的可能后来会有异常,这里可以把DNS 服务器设置为8.8.8.8,避免后来的一个域名解析的异常。
设置完成之后,重启网络服务service network restart
ping www.baidu.com 看是否可联通外网
2 .修改主机名,使用hostnamectl命令依次为3个主机设置主机名
修改每台机子的主机名
hostnamectl set-hostname hadoop001 以此类推
3 关闭各个节点的防火墙
systemctl stop firewalld.service
systemctl disable firewalld.service
systemctl status firewalld.service
4 设置主机名解析
vi /etc/hosts
按照自己的实际情况进行添加
192.168.1.1 hadoop001
192.168.1.2 hadoop002
192.168.1.3 hadoop003
5 关闭SELinux
关闭selinux,可以使用setenforce 0命令来临时关闭,也可以通过修改配置文件来永久关闭,永久关闭需要重启操作系统才能生效,下面是永久关闭的操作方法:
vi /etc/sysconfig/selinux
修改为SELINUX=disabled,重启后可以检查selinux的状态
sestatus -v
SELinux status: disabled,表示已经关闭了
6.安装完CDH后,CDH Manager一般会提示用户需要做一些Linux系统层面的优化,主要包括两类:禁止透明大页面及交换分区设置,这里预先进行设置。
交换分区的设置
inux内核参数vm.swappiness,值的范围为0-100,表示系统什么时候开始进行物理内存与虚拟内存的交换。举个例子,系统总内存为64G,vm.swappiness为60,表示在系统内存使用64*0.4=25.6G的时候开始物理内存与虚拟内存的交换,这个动作势必会影响系统的性能。因此,Cloudera建议把这个值修改为1~10。按照下面进行设置,保证重启后不会恢复原来的60.(每个节点都需要)
echo "vm.swappiness=10" >> /etc/sysctl.conf
禁止透明大页面:
找到/etc/rc.d/rc.local文件,添加下面两行
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled
并为/etc/rc.d/rc.local添加执行权限
chmod +x /etc/rc.d/rc.local
重启后生效