hadoop集群的搭建流程

看不见的罗辑

已于 2022-10-21 16:46:21 修改

阅读量659

点赞数

文章标签： hadoop mapreduce big data

于 2022-02-24 15:11:20 首次发布

本文链接：https://blog.csdn.net/a284365/article/details/123112371

版权

文章目录

1.创建单个虚拟机

配置IP地址包括三个(虚拟机本身,vmare,和主机网络中心)用于连接外网。如何使虚拟机能够连接外网可以参考：centos7连接外网
判断连接使用ping命令
如果不是图形界面则可以安装,使用yum install -y命令下载Gname然后使用startx
另外还要下载epel-release,net-tools ,vim
关闭防火墙和其自启动:systemctl disable firewalld.service

2.创建新的用户

useradd … passwd…
修改权限
1.为/etc/sudoers添加写权限 chmod 777 /etc/sudoers
2.添加用户 ALL=(ALL)ALL ALL
3.撤销sudoers的写权限 chmod u-w /etc/sudoers

在etc/sudoers中添加

3.在opt目录中创建module和software目录

卸载默认jdk

4.克隆,修改新的虚拟机中的IP地址 vim /etc/sysconfig/network-scripts/ifcfg-ens33

linux中修改主机名称 vim /etc/hostname 以及添加ip映射文件/etc/hosts
在windows系统中的system32/driver/etc中的host文件中添加映射
添加完成之后重启虚拟机

5.在module中安装hadoop和JDK借助xshell 并使用 scp命令/xsync(可以编辑他的脚本执行)将这两个文件拷贝到其他虚拟机中,另外使用scp拷贝 /etc/profile.d/my_env.sh ->全局变量设置 (接收端需要使用source 更新配置信息 source /etc/profile )

6.SSH无密登录配置

~ :cd .ssh
ssh-keygen -t rsa#用于第一次时(为当前节点设置公钥和私钥等三个文件),之后添加到其他节点是用ssh-copy-id …
ssh-copy-id hadoop102/103/104
生成秘钥步骤
ssh-keygen -t rsa
按两次回车

如果重新生成秘钥，步骤则：
ssh-keygen -t rsa
y
两次回车
直接复制秘钥完成免密
ssh-copy-id -i /root/.ssh/id_rsa.pub root@centos8

完整流程：
root@hadoop102:ssh-keygen -t rsa#针对当前用户，如果要root用户也免密登录就需要su root后再执行该语句并执行下面的语句
ssh-copy-id hadoop102
ssh-copy-id hadoop103
ssh-copy-id hadoop104
同理其他主机如果想相切回当前hadoop102免密登录则需要相同的配置
并创建同步分发脚本 xsync

同步分发脚本
vi xsync

#!/bin/bash
#1. 判断参数个数
if [ $# -lt 1 ]
then
  echo Not Enough Arguement!
  exit;
fi
#2. 遍历集群所有机器
for host in 主机名1 主机名2 主机名3#需要根据自己集群的ip来写，如果有hosts映射，可以直接使用主机名
do
  echo ====================  $host  ====================
  #3. 遍历所有目录，挨个发送
  for file in $@
  do
    #4 判断文件是否存在
    if [ -e $file ]
    then
      #5. 获取父目录
      pdir=$(cd -P $(dirname $file); pwd)
      #6. 获取当前文件的名称
      fname=$(basename $file)
      ssh $host "mkdir -p $pdir"
      rsync -av $pdir/$fname $host:$pdir
    else
      echo $file does not exists!
    fi
  done
done