Hadoop集群准备

搭建Hadoop集群的一些准备

1、创建两个目录
分别是 /opt/module 和 /opt/software
在这里software我主要是用来保存jdk和hadoop的压缩包
解压后的文件放入module中

2、对jdk和hadoop进行解压
先进入software文件夹下进行操作
解压命令：
tar -zxvf jdk -C 、/opt/module/
tar -zxvf hadoop -C /opt/module/

3、解压之后配置环境
配置环境的目录是 根目录下 /etc/profile.d/my_env.sh（后面这个文件是自己创建的）
配置环境要记得写命令 export
具体内容如下
#jdk
export JAVA_HOME=/opt/module/jdk
export PATH=KaTeX parse error: Expected 'EOF', got '#' at position 20: …:JAVA_HOME/bin #̲hadoop export H…PATH:HADOOP_HOME/bin:HADOOP_HOME/sbin
注意这里不要忘记引用PATH本来的环境变量，要加$符号

4、检查一下环境配置是否成功
命令：java -version hadoop -version
如果没反应，检查配置环境文件没有问题，可以通过重启虚拟机reboot命令，重启之后再次检查，一般就没什么问题了

5、可以跑一下本地wordcount感受一下

6、准备搭建集群
首先要准备三台虚拟机，我给她们命令为hadoop102、hadoop103、hadoop104
注意，这里的环境都是已经配置好的，三台一样的环境
要记得关闭防火墙、查看IP

7、分发命令
这里需要了解两个命令，一个是scp 一个是rsync 都是文件拷贝的命令，方便我们将102/103/104里的文件进行分发
为了之后方便分发，我这里写了一个脚本
写完脚本记得给他加一个执行权限，将脚本放进了家目录下yxx用户的bin目录下，方便全局调用（yxx是我提前创建好的）

8、ssh免密登录
这里不进行赘述（需要的自己查询）

9、集群配置
首先要明确每个服务器的作用，谁是什么角色
然后进行配置，一共需要配置五个文件，分别是
/opt/module/hadoop-3.3.4/etc/hadoop下的
core-site.xml
hdfs-site.xml
yarn-site.xml
mapred-site.xml
workers

10、配置完毕以后调用脚本分发一下

11、准备启动
如果是第一次启动，要先格式化一下
hdfs namenode -format 在nn上
然后在nn上启动hdfs sbin/start-dfs.sh
在yarn上面启动RM sbin/start-yarn.sh

jps 检查一下是否启动

12、配置历史记录和日志
13、为了方面日后启动集群和关闭集群，可以写一个群启群停脚本
14、如果遇到nn启动DN没有启动的情况，可以群停之后删除所有机器上的data和logs文件，然后在NN上格式化之后再次启动