初学--安装搭建CDH集群--5.14

最新推荐文章于 2023-01-04 10:17:35 发布

Jantelope

最新推荐文章于 2023-01-04 10:17:35 发布

阅读量518

点赞数

分类专栏：软件安装文章标签： CDH 简易集群安装

本文链接：https://blog.csdn.net/Jantelope/article/details/96863655

版权

本文详细介绍了如何在虚拟环境中搭建CDH 5.14集群。首先，通过配置虚拟机（CentOS 6.7），包括设置主机名、IP地址、关闭防火墙和SELinux。然后，安装必要的工具如openssh-clients和jdk 1.8，并创建本地yum源。接着，安装httpd服务，使用createrepo生成软件仓库。在所有节点间同步CentOS-Media.repo文件，进行yum缓存清理和时钟同步。最后，安装CM，配置CM的yum源，分发并安装CDH，经过一系列步骤完成集群的安装和启动。

摘要由CSDN通过智能技术生成

一.虚拟机准备过程

准备3台虚拟机:

hadoop01	192.168.137.111	5g
hadoop02	192.168.137.112	2g
hadoop03	192.168.137.113	2g

安装准备工作:推荐使用VMwar NET 模式配置,这样在局域网中的其他电脑可以通过主机IP访问虚拟机的web;

虚拟机我安装的是CentOS版本:CentOS-6.7-x86_64-bin-DVD1.iso

百度网盘地址:链接：https://pan.baidu.com/s/10HmyunjpdDPKXqSiPY3S2Q 提取码：7NZq

cdh采用的5.14

链接：https://pan.baidu.com/s/1g5EHsAk0mAqo1LVDJHadGA 提取码：3mrI    cdh 安装包

链接：https://pan.baidu.com/s/1ipMAMf_MCvKvkd2xy3NBjA 提取码：15IA  cm安装包 激活码

配置主机名称与IP: vi /etc/sysconfig/network-scripts/ifcfg-eth0

DEVICE=eth0
TYPE=Ethernet
UUID=5266c6b4-3126-4471-8916-b6d990d0932e
ONBOOT=yes
NM_CONTROLLED=yes
BOOTPROTO=static
HWADDR=00:0C:29:71:75:B6
IPADDR=192.168.137.111
PREFIX=24
GATEWAY=192.168.137.2 网管来源于VMware net 配置
DEFROUTE=yes
IPV4_FAILURE_FATAL=yes
IPV6INIT=no
NAME="System eth0"

配置 vi /etc/hosts 主机ip映射


10.195.10.111 hadoop01

10.195.10.112 hadoop02

10.195.10.113 hadoop03

修改主机hostname (在安装虚拟的时候如果设置了hostname 可以略过)

vi /etc/sysconfig/network

关闭防火墙：

service iptables stop

chkconfig iptables off 永久关闭

还有种写法：

systemctl stop firewalld

systemctl disable firewalld

安装CDH 关闭selinux 安全模块(如果不关闭安装集群会报错)

vi /etc/selinux/config

将SELINUX改为disabled

然后需要重启linux 执行reboot

配置本地yum 源

最小化安装,(仅主机模式,不能联网)需要上传CentOS镜像,挂在光盘,配置本地yum资源 (最好每个虚拟机都挂载光盘,这样在需要安装某些软件的时候都可以装)

挂载光盘过程: 
1.	光盘放在 /disk 目录中  (mkdir /disk)
2.	构建挂载目录：mkdir -p /media/CentOS
3.	执行命令：mount -o loop /disk/CentOS-6.7-x86_64-bin-DVD1.iso /media/CentOS/
4.	进入/etc/yum.repos.d  修改CentOS-Base.repo 名称
5.	修改mv CentOS-Base.repo CentOS-Base.repo.bak
6.	修改文件：vi CentOS-Media.repo
7.	将enable=0改成enable=1
8.	清除yum 缓存
9.	yum clean metadata yum clean dbcache
10.	yum list | wc -l  查看光盘是否挂载成功

(小坑:目前只在最小化安装的时候出现)安装的最小linux 再配置免密码登录的时候，容易遇到ssh-copy-id 该指令无法使用，需要解决这个问题，再挂载光盘后，