Hadoop学习-days4-完全分布式部署Hadoop

1. 首先准备虚拟机

    重点在于：1）删除eth0，并将eth1改成eth0,并复制物理地址

         2）替换物理地址和IP地址

          3）修改主机名称

         4）打开 /etc/hosts

            在其中添加 IP地址：主机名

         5）在win7系统中C:\Windows\System32\drivers\etc路径中，打开Host文件并添加：IP地址：主机名

         6）重启

    

2. 使用scp实现服务器之间的数据拷贝

    重点在于：1）拷贝/opt/module目录（里面是安装的各类软甲）

         2）拷贝/etc/profile文件（配置文件）

 

3. SSH无密码登录：

    重点在于：1）SSH无密码登录原理：A生成一堆密钥（公钥和私钥），把公钥发给B留存，A在给B发命令时以私钥加密，B收到后以公钥解锁，B返回信息则以公钥加密，A收到以私钥解锁，实现无密码登录。

         2）命令：cd ~/.ssh  进入目录

            ssh-keygen -t rsa  创建公钥私钥

            ssh-copy-id hadoop103  发送公钥到目标主机

 

4. rsync远程同步工具，主要用于备份和镜像。具有速度快，避免复制相同内容和支持符号链接的优点

        1）和scp相比，其只负责更新差异文件

         2）命令：rsync -rvl /opt/tmp root@hadoop103:/opt/

 

5. xsync:执行脚本，循环复制文件到所有节点的相同目录下

         1）在/usr/local/bin目录下创建xsync文件    

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

[ root@ hadoop102 bin ]# touch xsync

[ root@ hadoop102 bin ]# vi xsync

#!/bin/bash

#1获取输入参数个数，如果没有参数，直接退出

pcount=$#

if (( pcount= = 0 )) ; then

echo no args ;

exit ;

fi

#2获取文件名称

p1=$1

fname= ` basename $p1 `

echo fname=$fname

#3获取上级目录到绝对路径

pdir= ` cd - P $ ( dirname $p1 ) ; pwd `

echo pdir=$pdir

#4获取当前用户名称

user= ` whoami `

#5循环

for (( host= 103 ; host < 105 ; host ++ )) ; do

#echo$pdir/$fname$user@hadoop$host:$pdir

echo --------------- hadoop $host ----------------

rsync - rvl $pdir / $fname $user@ hadoop $host: $pdir

done

         2）修改脚本xsync具有执行权限

         3）调用脚本：xsync 文件名称

6. 配置集群：

         1）重点在于，对于集群进行部署规划，注意NN，SN，RM不要放在同一台服务器上

 

        2）修改配置文件

         3）集群测试

 

7.集群的启动和停止方式：

        1）各服务组件逐一启动：

            启动hdfs：hadoop-daemon.sh  start|stop  namenode|datanode|secondarynamenode

            启动yarn：yarn-daemon.sh  start|stop  resourcemanager|nodemanager

        2）各模块分开启动：

            start|stop-dfs|yarn.sh

        3）全部启动：

            start|stop-all.sh