hadoop + zookeeper HA架构搭建

确保5台linux系统节点已准备
|主机名| 内存|cpu
|nna|2G|2核
|nns|2G|2核
|dn1|1G|1核
|dn2|1G|1核
dn3|1G|1核

1、给系统设置静态IP,可以参照我之前的hadoop 集群部署中静态ip设置
https://mp.csdn.net/mdeditor/84073712#

2、所有linux系统配置hosts系统文件。添加ip映射,

 vi /etc/hosts

![在这里插入图片描述](https://img-blog.csdnimg.cn/20181120105513177.png
3、创建hadoop 账号,用来专门管理集群环境

useradd hadoop
passwd hadoop

//创建后再sudoers文件添加hadoop
3.1 添加 sudoers 写权限

chmod +w /etc/sudoers

3.2 vi在末尾添加:hadoop ALL=(root)NOPASSWD:ALL
3.3 关闭写权限

chmod -w /etc/sudoers

4.SSH 免密登录
4.1 在nna 节点下 生成该节点的私钥和公钥

ssh-keygen -t rsa

4.2 认证授权,将id-rsa.pub 文件内容追加到authorized_keys 文件中,如果在、~/.ssh 目录下没有authorized_keys 文件,自己手动添加即可。

cat ~/.ssh/id_rsa.pub >> ~/.ssh/suthorized_keys

4.3 文件授权,赋予600权限

chmod 600 ~/.ssh/authorized_keys

4.4 其他节点通过使用hadoop 账号授权,然后将各个节点的id_rsa.pub 追加到nna 节点的authorized_keys 中
,生成公钥后,使用 ssh-copy-id nna,即可
在这里插入图片描述
4.5 在完成所有节点公钥追加之后,将nna节点下的authorized_keys 文件通过scp,分发到其他节点的hadoop ~/.ssh 目录下。
在这里插入图片描述
5 、关闭防火墙
所有linux系统都执行下面语句关闭防火墙,当然我的是centos7,不同版本关闭防火墙命令不同,自行百度。

systemctl stop firewalld.service #停止firewall
systemctl disable firewalld.service #禁止firewall开机启动**

6修改时区。确保hadoop集群各个节点时间同步。
能与当前网络的时间有误差。下面介绍一下与时间服务器上的时间同步的方法
6.1. 安装ntpdate工具

yum -y install ntp ntpdate

(如果安装不了,请在/etc/sysconfig/network_scripts 下面的ifcfg-ens33, 添加域名)
在这里插入图片描述
6.2. 设置系统时间与网络时间同步

 ntpdate cn.pool.ntp.org

6.3. 将系统时间写入硬件时间

hwclock --systohc

7,zookeeper 部署
zookeeper 3.4.10 下载地址
http://mirrors.shu.edu.cn/apache/zookeeper/zookeeper-3.4.10/
7.1 解压,

tar -zxvf zookeeper-3.4.10.tar.gz

//重命名

mv zookeeper-3.4.10  zookeeper

![//](https://img-blog.csdnimg.cn/20181120160846904.png
//在 zookeeper目录下创建状态数据存储文件夹data

mkdir  data 

7.2配置zoo.cfg 文件
在这里插入图片描述

在这里插入图片描述

在data 文件下面创建myid 文件,在该文件下入一个0-255之间的整数,

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值