实验一 JDK+Hadoop安装配置、单机模式配置

SecureCRT里面的操作
一、基本操作
1.关闭防火墙
firewall-cmd --state 显示防火墙状态running/not running
systemctl stop firewalld 临时关闭防火墙，每次开机重新开启防火墙
systemctl disable firewalld 禁止防火墙服务。

2.把下载在Windows里的JDK和HADOOP压缩包传输到虚拟机中
SecureCRT 【File】→【Connect SFTP Session】开启sftp操作
put G:\jdk\jdk-8u121-linux-x64.tar.gz
put G:\hadoop\hadoop-2.7.3.tar.gz

3.解压JDK、HADOOP
tar -zxvf jdk-8u121-linux-x64.tar.gz -C /home/fyl001 解压安装
tar -zxvf hadoop-2.7.3.tar.gz -C /home/fyl001 解压安装

4.配置JDK并生效
vi /etc/profile文件添加：
export JAVA_HOME=/home/ fyl001/jdk-8u121
export PATH=JAVA H OME/bin: JAVAHOME/bin: JAVA_HOME/bin:JAVAHOME/bin:JAVA_HOME/bin:JAVAHOME/bin:PATH
Esc :wq!保存并退出。不需要配置CLASSPATH。
source /etc/profile配置生效
运行命令javac，检验是否成功。

5.配置HADOOP并生效
vi /etc/profile文件添加：
export HADOOP_HOME=/home/ fyl001/hadoop-2.7.3
export PATH=HADOOP H OME/bin: HADOOPHOME/bin: HADOOP_HOME/bin:HADOOPHOME/bin:HADOOP_HOME/bin:HADOOPHOME/bin:HADOOP_HOME/sbin:$PATH
Esc :wq!保存并退出。
source /etc/profile配置生效
运行命令hadoop，检验是否成功。

二、单机模式配置hadoop -env.sh
vi /home/fyl001/hadoop-2.7.3/etc/hadoop/hadoop-env.sh文件修改
显示行号 Esc :set number
取消行号Esc :set nonumber
修改第25行export JAVA_HOME=/home/fyl001/jdk1.8.0_121
Esc :wq!保存并退出

三、Hadoop伪分布式模式配置
在基于以上操作的基础上，进行伪分布式配置，对以下几个文件进行配置。
1、vi core-site.xml，在与之间添加
fs.defaultFS
hdfs://FYL001:9000
hadoop.tmp.dir
/home/ fyl001/hadoop-2.7.3/tmp

2、vi hdfs-site.xml，在与之间添加 dfs.replication
dfs.namenode.secondary.http-address
FYL001:50090

3、（1）运行cp mapred-site.xml.template mapred-site.xml，选择yes。
（2）vi mapred-site.xml，在与之间添加
mapreduce.framework.name
yarn

4、vi yarn-site.xml，在与之间添加
yarn.resourcemanager.hostname
FYL001
yarn.nodemanager.aux-services
mapreduce_shuffle

5、修改\etc\hosts配置文件
添加虚拟机的ip及对应主机名：
192.168.245.136 FYL001

6、⑦修改\etc\hostname配置文件
运行命令 vi \etc hostname
添加虚拟机的主机名：
FYL001
重启虚拟机，主机名生效。

7、格式化
hdfs namenode -format （如果不是第一次格式化，格式化之前先删除/home/fyl001/hadoop-2.7.3/下面的tmp、logs两个目录）

8、start-all.sh （如果启动之前已经启动过，启动之前先停止stop-all.sh）(启动记得关闭防火墙)
查看伪分布式配置是否成功：
①执行ll，查看/home/fyl001/hadoop-2.7.3/tmp/dfs目录，如下图所示，则正确。
②执行jps，如下图所示，NameNode、DataNode、SecondaryNameNode、ResourceManager、NodeManager如果全部启动，伪分布式配置成功。

9、web控制台访问：http://192.168.245.136:50070 、http://192.168.245.136:8088 页面正常显示，则成功。

三、Hadoop完全分布式模式配置
克隆三台伪分布式作为备用，其中以FYL002作为主节点，FYL003、FYL004作为子节点进行完全分布式。
1、修改以下配置文件
（1）slaves配置文件
三台虚拟机分别都运行命令 vi /home/fyl001/hadoop-2.7.3/etc/hadoop slaves
修改slaves为：
FYL002
FYL003
FYL004

（2）修改\etc\hosts配置文件
三台虚拟机分别都运行命令 vi \etc hosts
注释已有内容，添加集群三台虚拟机的ip及对应主机名：
192.168.245.137 FYL002
192.168. 245.138 FYL003
192.168. 245.139 FYL004

（3）修改\etc\hostname配置文件
三台虚拟机分别都运行命令 vi \etc hostname
添加各自的主机名FYL002或者FYL003或者FYL004.
重启全部虚拟机，主机名生效。

2、格式化
在主节点FYL002上面输入格式化命令（hdfs namenode -format），格式化集群。
注：如果不是第一次格式化，三台虚拟机都删除 \home\fyl001\hadoop-2.7.3\下面的tmp、logs目录：
rm –rf \home\fyl001\hadoop-2.7.3\tmp
rm –rf \home\fyl001\hadoop-2.7.3\logs
注：如果格式化之前启动过集群，先在主节点FYL002上面停止集群（stop-all.sh），再格式化。

3、启动集群
在主节点FYL002上面输入启动命令（start-all.sh），启动集群。
注：如果启动之前启动过集群，先在主节点FYL001上面停止集群（stop-all.sh），再启动。
启动正常，输入jps命令，显示Jps、ResourceManager、SecondaryNameNode、NameNode。则启动成功。
在两台子节点上输入jps命令：显示NameNode、NodeManager、jps，则完全分布式配置成功。