hadoop环境搭建(修改主机名和配置免密登录)

 输入命令vi /etc/hostname

 配置完成后，要重启一下主机

设置所有的节点域名映射解析

 命令：vi /etc/hostname

内容如下：

所有节点关闭防火墙和Selinux 

关闭防火墙

关闭selinux

命令 vi /etc/selinux/config

配置免登录步骤

        1.设置普通用户

        2.在所有节点生成公钥和私钥

        3.所有节点都要执行

配置完成后，测试成功如下：

给普通用户添加权限

配置时钟

安装  yum install -y ntpdate
然后  crontab -e

* * * * * /usr/sbin/ntodate -u  ntp4.aliyun.com > /dev/null 2>&1

 装一些常用的软件

 yum install -y vim net-tools lrzsz rsync wget

创建统一目录

mkdir -p /bigdata/{soft,server}

 

给普通用户目录权限

chown -R lwy:lwy /bigdata

定义同步数据脚本 

1.安装软件rsync

yum install -y rsync

2.配置同步脚本

切换到普通用户 su - lwy 

mkdir /home/lwy/bin

cd /home/lwy/bin

vim xsync

#!/bin/bash
#1 获取输入参数个数，如果没有参数，直接退出
pcount=$#
if((pcount==0)); then
  echo no args;
  exit;
fi
 
#2 获取文件名称
p1=$1
fname=`basename $p1`
echo fname=$fname
 
#3 获取上级目录到绝对路径
pdir=`cd -P $(dirname $p1); pwd`
echo pdir=$pdir
 
#4 获取当前用户名称
user=`whoami`
 
#5 循环
current=`hostname`

nodes=$(cat `cd ~ && pwd`/bin/works)
for host in $nodes; do
    echo ------------------- $host --------------
       
    if [ "$host" != "$current" ]; then
       rsync -rvl $pdir/$fname $user@$host:$pdir
    fi
done
 

 

提高权限

sudo chmod u+x xsync

到这里不需要全部同步了

创建works文件

cd /lwy/bin

vi works

master
slave1
slave2

试试同步文件是否成功，成功如图所示