1.CDH准备
CDH分为Cloudera Manager管理平台和CDH parcel(parcel包含各种组件的安装包)。这里采用CDH6.2.0。
小知识:官方下载地址现在增加了收费墙,现在CDH包不能再使用在线安装的方式,全部使用离线方式,离线要搭建自己的源,收费墙这个是有史以来最坑的地方,关于CDH资源包,现在都是自己网上找或者群内大家共享。
真实线上案例:增扩容节点,使用半离线方式,无自有源,因为收费墙问题,造成失败,没想到CDH官方21年增加收费墙。
资源目录如下:
CDH6.2.0安装包地址为:https://archive.cloudera.com/cdh6/6.2.0/parcels/
由于操作系统为CentOS7,需要下载以下文件:
上述文件整理资料百度云下载地址为:
链接: 百度网盘-链接不存在 提取码: mws3 (不一定能用,还是要靠你自己找,如果需要可后台联系)
说明:以下操作都是在root用户下进行的
2.安装
2.1 环境准备
2.1.1. 准备虚拟机(根据自己的系统资源分配虚拟机资源)
系统版本:centos7+
小知识:系统不要装乱七八糟的东西,RAID最好是0,增加读写性能,hadoop环境天生高可用,不用考虑硬盘损坏,反而使用RAID5的方式,磁盘损坏后,会影响整个集群性能。
真实线上案例:集群莫名降速,某节点磁盘损坏
2.1.2. 静态IP设置(每个节点)
vim /etc/sysconfig/network-scripts/ifcfg-eth0
service network restart 重启网络生效
yum install -y net-tools ifconfig查看设置
2.1.3. 编辑/etc/hosts文件(每个节点)
vim /etc/hosts
2.1.4. 关闭防火墙、禁止防火墙开机自启(每个节点)
- systemctl stop firewalld 关闭防火墙
- systemctl disable firewalld 禁止防火墙开机自启
- vim /etc/selinux/config —> SELINUX=disabled (修改)
2.1.5. ssh无密码登录
- manager节点执行ssh-keygen -t rsa 一路回车到结束,在/root/.ssh/下面会生成一个公钥文件id_rsa.pub
- cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys 将公钥追加到authorized_keys
- chmod 600 ~/.ssh/authorized_keys 修改权限
- 将~/.ssh从当前节点分发到其他各个节点。如:scp -r ~/.ssh/ root@node1:~/.ssh/
- ssh 各个节点互相登陆
2.1.6. 配置NTP服务(所有节点)
小知识:hadoop环境时间一致性特别重要
真实线上案例:虚拟机重启后,时间和其它节点不一致,各种组件问题。
- 修改时区(改为中国标准时区)ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
- 安装ntp yum -y install ntp
- ntp主机配置 vim /etc/ntp.conf
- manager节点