前言
搭建前需阅读:
本篇内容适用于大部分场景搭建,可放心阅读,文章仅供参考
由于文章篇幅过大,文章分开进行发表,读者可根据序号顺序阅读
小白均可上手操作,如有不懂或问题可以提问
本次搭建所做的前提准备为
linux环境:centos7
节点个数:最少为三节点
搭建版本:CDH6.3.2和CM6.3.1
内网适用,外网适用,生产适用,测试适用
环境检查
1.查看所有节点根目录内存opt,var文件夹大小
注:每个目录需大于40G
df -h
2.查看存储节点磁盘是否挂载
一般存储节点会把hdfs的dn数据存储在挂载节点上
如果节点的磁盘尚未挂载,可以参考这篇文章进行磁盘挂载操作
Linux系统集群磁盘挂载
lsblk
3.修改每台节点主机名,配置hosts
注:需要给每一台机器做互通,把单个主机组成集群
#查看主机名
hostname
#永久修改主机名
hostnamectl set-hostname 主机名
hostnamectl set-hostname cloudcdp02.hadoop.com
#修改hosts
vim /etc/hosts
172.21.35.243 cloud01
172.21.33.22 cloud02
172.21.33.30 cloud03
172.21.34.77 cloud04
#分发hosts
scp /etc/hosts root@集群ip:/etc/hosts
4.所有节点关闭防火墙
注:防火墙必须要关闭,不然后续会影响端口使用
#查看防火墙状态
systemctl status firewalld
#停用防火墙
systemctl stop firewalld
#永久关闭防火墙
systemctl disable firewalld
5.设置集群之间的免密登录
注:集群之间互相切换,可以直接ssh 主机名 进行切换
#验证是否安装,执行ssh
#没有安装,执行安装
yum install sshd
#查看sshd状态
systemctl status sshd
#生成密钥文件,执行命令ssh-keygen -t rsa,三次回车
ssh-keygen -t rsa
#在该节点上执行,互相分发
ssh-copy-id -i ~/.ssh/id_rsa.pub 节点主机名
6.优化linux虚拟内存管理
注:这个是交换分区大小的限制
sysctl -w vm.swappiness=1
#编辑/etc/sysctl.conf以在重启后保存该设置
echo "vm.swappiness = 1" >> /etc/sysctl.conf
#使配置生效
sysctl -p
#查看是否修改成功
sysctl -a | grep 'vm.swappiness'
7.禁用透明大页面
注:需要禁掉
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled
echo 'echo never > /sys/kernel/mm/transparent_hugepage/defrag' >> /etc/rc.local
echo 'echo never > /sys/kernel/mm/transparent_hugepage/enabled' >> /etc/rc.local
#查看是否成功
cat /sys/kernel/mm/redhat_transparent_hugepage/enabled
或
cat /sys/kernel/mm/transparent_hugepage/enabled
always madvise [never]
8.关闭selinux
#打开配置加入
vim /etc/selinux/config
SELINUX=disabled
#检验
setenforce 0
9.修改服务器句柄数
#打开limits.conf文件,加入
vi /etc/security/limits.conf
* soft nproc 65535
* hard nproc unlimited
echo "* soft nproc 65535" >> /etc/security/limits.conf
echo "* hard nproc unlimited" >> /etc/security/limits.conf
#生效
ulimit -n 65535
#验证
ulimit -a