搭建Hadoop集群的一些准备
1、创建两个目录
分别是 /opt/module 和 /opt/software
在这里software我主要是用来保存jdk和hadoop的压缩包
解压后的文件放入module中
2、对jdk和hadoop进行解压
先进入software文件夹下进行操作
解压命令:
tar -zxvf jdk -C 、/opt/module/
tar -zxvf hadoop -C /opt/module/
3、解压之后配置环境
配置环境的目录是 根目录下 /etc/profile.d/my_env.sh(后面这个文件是自己创建的)
配置环境要记得写命令 export
具体内容如下
#jdk
export JAVA_HOME=/opt/module/jdk
export PATH=KaTeX parse error: Expected 'EOF', got '#' at position 20: …:JAVA_HOME/bin #̲hadoop export H…PATH:HADOOP_HOME/bin:HADOOP_HOME/sbin
注意这里不要忘记引用PATH本来的环境变量,要加$符号
4、检查一下环境配置是否成功
命令:java -version hadoop -version
如果没反应,检查配置环境文件没有问题,可以通过重启虚拟机reboot命令,重启之后再次检查,一般就没什么问题了
5、可以跑一下本地wordcount感受一下
6、准备搭建集群
首先要准备三台虚拟机,我给她们命令为hadoop102、hadoop103、hadoop104
注意,这里的环境都是已经配置好的,三台一样的环境
要记得关闭防火墙、查看IP
7、分发命令
这里需要了解两个命令,一个是scp 一个是rsync 都是文件拷贝的命令,方便我们将102/103/104里的文件进行分发
为了之后方便分发,我这里写了一个脚本
写完脚本记得给他加一个执行权限,将脚本放进了家目录下yxx用户的bin目录下,方便全局调用(yxx是我提前创建好的)
8、ssh免密登录
这里不进行赘述(需要的自己查询)
9、集群配置
首先要明确每个服务器的作用,谁是什么角色
然后进行配置,一共需要配置五个文件,分别是
/opt/module/hadoop-3.3.4/etc/hadoop下的
core-site.xml
hdfs-site.xml
yarn-site.xml
mapred-site.xml
workers
10、配置完毕以后调用脚本分发一下
11、准备启动
如果是第一次启动,要先格式化一下
hdfs namenode -format 在nn上
然后在nn上启动hdfs sbin/start-dfs.sh
在yarn上面启动RM sbin/start-yarn.sh
jps 检查一下是否启动
12、配置历史记录和日志
13、为了方面日后启动集群和关闭集群,可以写一个群启群停脚本
14、如果遇到nn启动DN没有启动的情况,可以群停之后删除所有机器上的data和logs文件,然后在NN上格式化之后再次启动