实验一 Hadoop安装与配置

Hadoop安装与配置

一、实验目的：Hadoop安装与配置
二、实验的步骤与方法
1、下载安装VMware
2、安装CentOs系统
①、双击打开VMware，建立新的虚拟机

②、选择典型按安装步骤一步步进行
③、设置自己的虚拟机名称，选择安装位置
④、设备选择“新CD/DVD”，连接选择使用ISO映像文件，点击浏览找到自己的ISO映像文件

⑤、开启此虚拟机
3、安装CRT，并建立连接
4、下载安装Hadoop，并配置环境变量
①、设置Hadoop环境变量，增加以下环境变量并更新

②、修改Hadoop的配置文件
配置conf/core-site.xml文件

配置conf/mapred-site.xml文件

配置conf/ hdfs-site.xml文件

配置masterrs文件

配置slaves文件

③、格式化NameNode
hdfs namenode-format
④、启动
start-all.sh
⑤、检验安装配置是否成功
执行jps命令，如下图所示，如果全部启动，则配置成功

也可在web控制台中验证：http://192.168.119.133:50070
http://192.168.119.133:8088
5、Hadoop完全分布式模式配置
克隆两台伪分布式下的虚拟机作为备用，其中以why作为主节点，why01、why02作为子节点进行完全分布式模式配置。
1、修改配置文件
①、配置slaves文件
三台虚拟机分别运行命令 vi /opt/module/hadoop-2.7.3/etc/hadoop slaves
修改slaves为：
why01
why02
②、修改\etc\hosts配置文件
三台虚拟机分别分别运行命令 vi \etc hosts
注释已有内容，添加集群三台虚拟机的ip及对应主机名
③、修改\etc\hostname配置文件
三台虚拟机分别都运行命令 vi \etc hostname
添加各自的主机名（重启全部虚拟机，主机名生效）
2、格式化
在主节点why上面输入格式化命令（hdfs namenode -format），格式化集群。
3、启动集群
输入启动命令（start-all.sh），启动集群。
启动正常，输入jps命令，显示Jps、ResourceManager、SecondaryNameNode、NameNode。则启动成功。
在两台子节点上输入jps命令：显示NameNode、NodeManager、jps，则完全分布式配置成功。
4、页面验证
web控制台访问：http://192.168.119.133:50070
http://192.168.119.133:8088