Hadoop 完全分布式配置

1、scp  -r /sfot/* user@s101:/soft     将本机soft下文件拷贝到s101 soft下

安全实现两台机器文件复制但是 符号链接会变成硬链接（转变为文件）

2、rsync远程同步工具，用于备份和镜像，支持链接和设备，速度快，避免复制相同的文件。

rsync  -rlv /sfot/* user@s101:/soft  

3、使用脚本向其他节点发送配置文件

创建xsync.sh 脚本文件与/usr/local/bin 下

脚本实现向多个节点传送数据到相同的目录下。

#!/bin/bash 脚本开头

pcount=$#;

if((pcount<1)) ;then

echo no args ;

exit;

fi

p1=$1; //获取第一个元素

获取文件名

pname=$(basename $p1);

pdir=$(cd -P $(dirname $p1);pwd); //获取当前文件的绝对路径

cuser=$(whoami);

循环发送

for((host=100;host<105;host=host+1)) ; do

rsync -rvl $pdir/$pname $cuser@s$host:$pdir;

done

4、编写xcall脚本是所有节点执行相同的操作

#!/bin/bash 脚本开头

pcount=$#;

if((pcount<1)) ;then

echo no args ;

exit;

fi

$@ //本机执行

for((host=101;host<105;host=host+1)) ; do

ssh s$host $@;

done

5、完全分布式配置 资源管理器节点与名称节点配在同一台机器上 slaves文件下 保存数据节点的名称s102,s103,s104

a 、core-site.xml

<configuration>

<property>

<name>fs.defaultFS</name>

<value>hdfs://s101/</value> 默认端口8020

</property>

b、hdfs-site.xml

<configuration>

<property>

<name>dfs.replication</name>//文件副本数

<value>1</value>

</property>

</configuration>

b、hdfs-site.xml

<configuration>

<property>

<name>dfs.replication</name>//文件副本数

<value>3</value>

</property>

</configuration>

c、yarn-site.xml 

<configuration>

<property>

<name>yarn.resourcemanager.hostname</name>

<value>s100</value>

</property>

<property>

<name>yarn,nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

</configuration>

然后将文件分发到各主机上