Hadoop集群配置(二)免密登录和集群配置

本文详细介绍了如何配置三台Linux服务器,包括设置IP、关闭防火墙和SELinux、更改主机名、添加用户、安装JDK等步骤。接着,文章讲解了zookeeper集群的安装,包括下载、解压、配置、启动等过程。最后,文章深入探讨了Hadoop环境的编译和安装,包括CDH软件的编译、环境准备、集群启动等,以确保Hadoop集群的顺利运行。
摘要由CSDN通过智能技术生成

写在开头:

难难难道德玄,不对知音不可谈,对了知音谈几句,不对知音枉费舌尖~~
咱们书接上回,上一篇写完了基础环境的配置,这篇就来说硕同样重要的免密登录,当然还有Hadoop集群的配置。

2.1 三台linux服务器环境准备

1. 三台机器IP设置

三台机器修改ip地址:

# 对网库进行设置
vi /etc/sysconfig/network-scripts/ifcfg-ens33 

# hadoop版本IP设置
BOOTPROTO="static"
IPADDR=192.168.32.100
NETMASK=255.255.255.0
GATEWAY=192.168.32.1
DNS1=8.8.8.8

# CDH 版本IP设置
IPADDR=192.168.179.12
NETMASK=255.255.255.0
GATEWAY=192.168.179.2
DNS1=8.8.8.8

# 重启网卡
service network restart

准备三台linux机器,IP地址分别设置成为:

第一台机器IP地址:192.168.32.100
第二台机器IP地址:192.168.32.110
第三台机器IP地址:192.168.32.120
2. 三台机器关闭防火墙

三台机器在root用户下执行以下命令关闭防火墙

systemctl stop firewalld
systemctl disable firewalld
3. 三台机器关闭selinux

三台机器在root用户下执行以下命令关闭selinux
三台机器执行以下命令,关闭selinux

vim /etc/selinux/config 
SELINUX=disabled
4. 三台机器更改主机名

三台机器分别更改主机名

第一台主机名更改为:node01.hadoop.com
第二台主机名更改为:node02.hadoop.com
第三台主机名更改为:node03.hadoop.com

第一台机器执行以下命令修改主机名

vim /etc/hostname
node01.hadoop.com

第二台机器执行以下命令修改主机名

vim /etc/hostname
node02.hadoop.com

第三台机器执行以下命令修改主机名

vim /etc/hostname
node03.hadoop.com
5. 三台机器更改主机名与IP地址映射

三台机器执行以下命令更改主机名与IP地址映射关系

vim /etc/hosts

192.168.179.100 node01.hadoop.com node01
192.168.179.110 node02.hadoop.com node02
192.168.179.120 node03.hadoop.com node03
6. 三台机器同步时间

三台机器执行以下命令定时同步阿里云服务器时间

 yum -y install ntpdate
 crontab -e 
 */1 * * * * /usr/sbin/ntpdate time1.aliyun.com
7. 三台机器添加普通用户

三台linux服务器统一添加普通用户hadoop,并给以sudo权限,用于以后所有的大数据软件的安装
并统一设置普通用户的密码为 123456

 useradd hadoop
 passwd hadoop

三台机器为普通用户添加sudo权限

visudo
hadoop  ALL=(ALL)       ALL
8. 三台定义统一目录

定义三台linux服务器软件压缩包存放目录,以及解压后安装目录,三台机器执行以下命令,创建两个文件夹,一个用于存放软件压缩包目录,一个用于存放解压后目录

 mkdir -p /kkb/soft     # 软件压缩包存放目录
 mkdir -p /kkb/install  # 软件解压后存放目录
 chown -R hadoop:hadoop /kkb    # 将文件夹权限更改为hadoop用户
9. 三台机器安装jdk

使用hadoop用户来重新连接三台机器,然后使用hadoop用户来安装jdk软件

上传压缩包到第一台服务器的/kkb/soft下面,然后进行解压,配置环境变量即可,三台机器都依次安装即可

cd /kkb/soft/

tar -zxf jdk-8u141-linux-x64.tar.gz  -C /kkb/install/
sudo vim /etc/profile

#添加以下配置内容,配置jdk环境变量
export JAVA_HOME=/kkb/install/jdk1.8.0_141
export PATH=:$JAVA_HOME/bin:$PATH
10. hadoop用户免密码登录<
  • 1
    点赞
  • 13
    收藏
    觉得还不错? 一键收藏
  • 5
    评论
评论 5
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值