hadoop伪分布式部署

一、安装配置

1.JDK：jdk-8u212-linux-x64.tar.gz

2.hadoop：hadoop-3.1.3.tar.gz

3.卸载虚拟机自带的jdk

4.事先创建/opt/module和/opt/software文件，解压JDK和hadoop到/opt/module

5.先在/etc/profile.d/目录下创建my_env.sh文件。并在/etc/profile.d/my_env.sh文件下配置jdk和hadoop的环境变量

6.运行 source /etc/profile 使配置文件生效

二、 主虚拟机和克隆虚拟机的相关配置

 1.虚拟机修改ip和hostname

        1>进入/etc/sysconfig/network-scripts/ifcfg-ens33进行配置

        2>修改主机名和添加虚拟机的映射

  

        3>将虚拟机的映射关系添加到hosts中

                1.window10先将hosts文件拷贝出来，修改保存后在覆盖原文件

                2.进入C:\Windows\System323\drivers\etc，拷贝hosts到桌面，并添加虚拟机的映射

        4>安装epel-release

        

        5>关闭防火墙，关闭防火墙自启

        6>重启虚拟机 

        7>克隆虚拟机

2.编写脚本分发文件

        1>创建/root/bin/xsync文件，写入以下代码 

         2>给此文件赋予权限：chmod 777 xsync

3.生成秘钥，并将公钥传输到虚拟机上，使其可以免密登录

三、修改相关配置文件

 1.修改core-site.xml文件     

  2.修改hdfs-site.xml

 3.修改marped-site.xml文件

4.修改yarn-site.xml文件

5.在/opt/module/hadoop-3.1.3/sbin路径下：将start-dfs.sh，stop-dfs.sh两个文件顶部添加以下参数

6. 在/opt/module/hadoop-3.1.3/sbin路径下：将start-yarn.sh，stop-yarn.sh顶部添加以下参数

 7.将配置好的文件用xsync脚本分发到克隆的虚拟机上

 四、启动集群

1.第一次启动需格式化NameNode：hdfs namenode -format

启动集群 

检查

 

2.登录web访问hadoop：在导航栏输入hadoop1:9870

3.传输文件查看

4.启动resourcemanager 

 5.上传文件测试

 6.在导航栏输入hadoop2:8088进入recoursemanager，查看结果