Hadoop安装、配置与使用

实验 目的 要求	1、完成Hadoop的高可用完全分布模式的安装 2、Hadoop的相关服务进程能够正常启动 3、HDFS能够正常使用 4、MapReduce示例程序能够正常运行
实 验 原 理	Linux CentOS 7.4操作系统、Hadoop 2.7.3
使 用 仪 器	Windows10操作系统电脑、VMwareWorkStation 15.5
实 验 步 骤	一、上传并解压hadoop 二、配置环境变量 三、Hadoop高可用完全分布模式配置 四、同步安装和配置 五、Hadoop高可用完全分布模式格式化和启动 六、Hadoop高可用完全分布模式验证
数 据 或 现 象 记 录	一、上传并解压hadoop 二、配置环境变量 3、在用户admin下创建存放JDK相关文件的目录，进入并将软件包解压到此目录下 三、配置新环境变量并生效 1、在admin用户的家目录下.bash_profile中配置新的环境变量 2、使新的环境变量生效并查看环境变量是否设置成功     三、Hadoop高可用完全分布模式配置 1、新建hadoop相关文件夹   2、配置hadoop-env.sh                 。                 。                 。 3、配置core-site.xml 4、配置hdfs-site.xml 5、配置mapred-site.xml 6、配置yarn-env.sh 7、配置yarn-site.xml 8、配置slaves 四、同步安装和配置 1、将hadoop目录和.bash_profile文件发送给所有其他主机， Cluster-02 Cluster-03 Cluster-04 Cluster-05 2、在每台主机上使环境变量生效 Cluster-02 Cluster-03 Cluster-04 Cluster-05 五、Hadoop高可用完全分布模式格式化和启动 1、在3、4、5同步通信节点启动同步通信服务 Cluster-03 Cluster-04 Cluster-05 2、在1主节点进行格式化 3、将1主节点hadoop目录下name目录发送给2备用主节点 4、在所有主机启动zookeeper服务并查看状态 Cluster-01 Cluster-02 Cluster-03 Cluster-04 Cluster-05 5、在1主节点对hadoop在zookeeper中的主节点切换控制信息进行格式化                 。                 。                 。 6、关闭3、4、5同步通信节点的同步通信服务 Cluster-03 Cluster-04 Cluster-05 7、在1主节点启动hadoop 8、在2备用主节点启动yarn主节点服务 9、查看所有主机的java进程 Cluster-01 Cluster-02 Cluster-03 Cluster-04 Cluster-05 六、Hadoop高可用完全分布模式验证 1、在hadoop中创建目录 2、使用蒙地卡罗算法计算π