hadoop安装（第三步）

• 二、免密登录
• 三、集群配置说明
• 四、正式配置
• • 总结

---

前言

在前两步中，我们创建好了虚拟机，并且也配置每步相对应的步骤，安装hadoop只剩最后一步了！

---

一、编写集群分发脚本 xsync

（1）在该文件中编写如下代码

#!/bin/bash 
 
#1. 判断参数个数 
if [ $# -lt 1 ] 
then 
 echo Not Enough Arguement! 
 exit; 
fi 
#2. 遍历集群所有机器 
for host in hadoop102 hadoop103 hadoop104 
do 
 echo ==================== $host ==================== 
 #3. 遍历所有目录，挨个发送 
 
 for file in $@ 
 do 
 #4. 判断文件是否存在 
 if [ -e $file ] 
 then 
 #5. 获取父目录 
 pdir=$(cd -P $(dirname $file); pwd) 
 
 #6. 获取当前文件的名称 
 fname=$(basename $file) 
 ssh $host "mkdir -p $pdir" 
 rsync -av $pdir/$fname $host:$pdir 
 else 
 echo $file does not exists! 
 fi 
 done 
done 

（2）修改脚本 xsync 具有执行权限

chmod +x xsync 

（3）测试脚本

xsync /home/atguigu/bin

（4）将脚本复制到/bin 中，以便全局调用

sudo cp xsync /bin/

（5）让环境变量生效

分别在bin和opt下执行命令
source /etc/profile

二、免密登录

（1）生成公钥和私钥

ssh-keygen -t rsa
然后敲（三个回车），就会生成两个文件 id_rsa（私钥）、id_rsa.pub（公钥）
一定要输入三个回车，不要输入其他内容

（2）将公钥拷贝到要免密登录的目标机器上

ssh-copy-id hadoop102
ssh-copy-id hadoop103
ssh-copy-id hadoop104

（3）结束之后可以自己试试能不能免密登录

可以从hadoop102上ssh hadoop103确保每个虚拟机之间能免密登录

三、集群配置说明

注意事项：
1.NameNode 和 SecondaryNameNode 不要安装在同一台服务器
2.ResourceManager 也很消耗内存，不要和 NameNode、SecondaryNameNode 配置在
同一台机器上。

四、正式配置

建议：可以通过idea上的ssh连接到你的虚拟机，这样配置会更加容易，更容易发现错误

连接的时候要保证自己的虚拟机是开启的，不然连接不上

（1）核心配置文件
配置 core-site.xml

在根目录上输出
cd $HADOOP_HOME/etc/hadoop
接着：
vim core-site.xml
文件内容：
<?xml version="1.0" encoding="UTF-8"?> 
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?> 
 
<configuration> 
 <!-- 指定 NameNode 的地址 --> 
 <property> 
 <name>fs.defaultFS</name> 
 <value>hdfs://hadoop102:8020</value> 
 </property> 
 
 <!-- 指定 hadoop 数据的存储目录 --> 
 <property> 
 <name>hadoop.tmp.dir</name> 
 <value>/opt/module/hadoop-3.1.3/data</value> 
 </property> 
 
 <!-- 配置 HDFS 网页登录使用的静态用户为 atguigu --> 
 <property> 
 <name>hadoop.http.staticuser.user</name> 
 <value>atguigu</value> 
 </property> 
</configuration> 

（2）HDFS 配置文件
配置 hdfs-site.xml

vim hdfs-site.xml 

文件内容：
<?xml version="1.0" encoding="UTF-8"?> 
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?> 
 
<configuration> 
 <!-- nn web 端访问地址--> 
 <property> 
 <name>dfs.namenode.http-address</name> 
 <value>hadoop102:9870</value> 
 </property> 
 <!-- 2nn web 端访问地址--> 
 <property> 
 <name>dfs.namenode.secondary.http-address</name> 
 <value>hadoop104:9868</value> 
 </property> 
</configuration>

（3）YARN 配置文件
配置 yarn-site.xml

vim yarn-site.xml

文件内容：
<?xml version="1.0" encoding="UTF-8"?> 
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?> 
<configuration> 
 <!-- 指定 MR 走 shuffle --> 
 <property> 
 <name>yarn.nodemanager.aux-services</name> 
 <value>mapreduce_shuffle</value> 
 </property> 
 
 <!-- 指定 ResourceManager 的地址--> 
 <property> 
 <name>yarn.resourcemanager.hostname</name> 
 <value>hadoop103</value> 
 </property> 
 
 <!-- 环境变量的继承 --> 
 <property> 
 <name>yarn.nodemanager.env-whitelist</name> 
 
<value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CO
NF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAP
RED_HOME</value> 
 </property> 
</configuration>

（4）MapReduce 配置文件
配置 mapred-site.xml

vim mapred-site.xml


文件内容：
<?xml version="1.0" encoding="UTF-8"?> 
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?> 
 
<configuration> 
 <!-- 指定 MapReduce 程序运行在 Yarn 上 --> 
 <property> 
 <name>mapreduce.framework.name</name> 
 <value>yarn</value> 
 </property> 
</configuration>