CDH5部署三部曲之一:准备工作

[](()版本信息

  1. CentOS:7.6.1810

  2. Python: 2.7.5(操作系统自带)

  3. CM包:cloudera-manager-centos7-cm5.7.2_x86_64.tar.gz

[](()服务器规划

本次搭建的CDH集群一共用到三台机器,一台master,另外两台是agent:

| 主机名 | IP地址 | 内存 | 身份 |

| — | — | — | — |

| master | 192.168.133.152 | 双核4G内存 | 管理节点 |

| worker1 | 192.168.133.153 | 双核8G内存 | 任务节点 |

| worker2 | 192.168.133.154 | 双核16G内存 | 任务节点 |

[](()文件下载

  1. cm下载地址:http://archive.cloudera.com/cm5/cm/5/ ,找到自己需要的cm包下载,本次实战用的是cloudera-manager-centos7-cm5.7.2_x86_64.tar.gz,如下图红框:

在这里插入图片描述

  1. parcel下载地址:http://archive.cloudera.com/cdh5/parcels ,本次实战用到的是CDH-5.7.2-1.cdh5.7.2.p0.18-el7.parcel,请下载下图红框中的三个文件,注意一共要下载三个文件:

在这里插入图片描述

[](()所有机器都要做的相同操作

以下操作需要master、w 《一线大厂Java面试题解析+后端开发学习笔记+最新架构讲解视频+实战项目源码讲义》无偿开源 威信搜索公众号【编程进阶路】 orker1、worker2各自做一遍:

  1. 本次实战在所有机器上的操作,都使用root账号;

  2. 确保所有机器都可以用SSH工具远程登录;

  3. 安装时间同步工具:

yum install -y ntpdate

  1. 时间同步:

ntpdate cn.ntp.org.cn

  1. 关闭和禁用防火墙:

systemctl stop firewalld && systemctl disable firewalld

  1. 关闭SELINUX:打开文件/etc/selinux/config,找到SELINUX=xxx那一行,改为SELINUX=disabled,如下图红框:

在这里插入图片描述

  1. 关闭swap:打开文件/etc/fstab,找到带有swap的那一行,注释掉,如下图红框:

在这里插入图片描述

  1. 重启电脑;

  2. 新建文件夹/usr/lib/jvm

  3. 安装JDK,我这里下载的是jdk-8u191-linux-x64.tar.gz,解压后是个名为jdk1.8.0_191的文件夹,将此文件夹放在/usr/lib/jvm目录下;

  4. 打开文件/etc/profile,在尾部增加以下内容:

export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_191

export JRE_HOME=${JAVA_HOME}/jre

export CLASSPATH=.: J A V A H O M E / l i b : {JAVA_HOME}/lib: JAVAHOME/lib:{JRE_HOME}/lib

export PATH= J A V A H O M E / b i n : {JAVA_HOME}/bin: JAVAHOME/bin:PATH

  1. 使配置生效:

source /etc/profile

  1. CDH默认的JDK目录是 /usr/java/default,因此要创建软链接,执行以下命令:

mkdir /usr/java && ln -s /usr/lib/jvm/jdk1.8.0_191 /usr/java/default

  1. 检查Python是否可用,如果没有还请自行安装,本次用到的是2.6或者2.7版本:

在这里插入图片描述

  1. 安装多个依赖包:

yum -y install chkconfig bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse fuse-libs redhat-lsb

  1. 创建目录:

mkdir /opt/cloudera-manager

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值