HADOOP集群环境安装

最新推荐文章于 2024-10-15 13:37:51 发布

weixin_43000215

最新推荐文章于 2024-10-15 13:37:51 发布

阅读量123

点赞数

文章标签： hadoop

本文链接：https://blog.csdn.net/weixin_43000215/article/details/106106058

版权

1.虚拟机环境准备
1）修改克隆虚拟机的静态IP(按照自己机器的网络设置进行修改)
sudo vim /etc/sysconfig/network-scripts/ifcfg-ens33

改成

DEVICE=ens33

TYPE=Ethernet

ONBOOT=yes

BOOTPROTO=static

NAME=“ens33”

IPADDR=192.168.1.101

PREFIX=24

GATEWAY=192.168.1.2

DNS1=192.168.1.2

2）修改主机名

（1）修改主机名称

sudo vim /etc/hostname

（2）配置主机名称映射，打开/etc/hosts

sudo vim /etc/hosts

添加如下内容

192.168.1.100 hadoop100

192.168.1.101 hadoop101

192.168.1.102 hadoop102

192.168.1.103 hadoop103

192.168.1.104 hadoop104

192.168.1.105 hadoop105

192.168.1.106 hadoop106

192.168.1.107 hadoop107

192.168.1.108 hadoop108

3）关闭防火墙

sudo systemctl stop firewalld

sudo systemctl disable firewalld

4）在/opt目录下创建module、software文件夹

sudo mkdir module

sudo mkdir software

2.安装JDK和HADOOP

JAVA环境

将JDK安装包上传到Linux /opt/software目录下
解压JDK到/opt/module目录下

tar -zxvf jdk-8u212-linux-x64.tar.gz -C /opt/module/

配置JDK环境变量

（1）新建/etc/profile.d/my_env.sh文件

sudo vim /etc/profile.d/my_env.sh

添加如下内容

#JAVA_HOME

export JAVA_HOME=/opt/module/jdk1.8.0_212

export PATH= $P A T H :$ JAVA_HOME/bin

（2）保存后退出

:wq

（3）重启xshell窗口，让环境变量生效

HADOOP环境

将hadoop安装包上传到/opt/software目录下
解压安装文件到/opt/module下面

[atguigu@hadoop101 software]$ tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/

查看是否解压成功

[atguigu@hadoop101 software]$ ls /opt/module/

hadoop-3.1.3

将Hadoop添加到环境变量

获取Hadoop安装路径

[atguigu@hadoop101 hadoop-3.1.3]$ pwd

/opt/module/hadoop-3.1.3

添加如下内容
#HADOOP_HOME

export JAVA_HOME=/opt/module/jdk1.8.0_212

export PATH= $P A T H :$ HADOOP_HOME/bin:$HADOOP_HOME/sbin

重启xshell窗口，让环境变量生效

3.编写集群分发脚本xsync

#!/bin/bash

#1. 判断参数个数

if [ $# -lt 1 ]

then

echo Not Enough Arguement!

exit;

#2. 遍历集群所有机器

for host in hadoop102 hadoop103 hadoop104

echo ==================== $host ====================

#3. 遍历所有目录，挨个发送

for file in $@

#4 判断文件是否存在

if [ -e $file ]

then

  #5. 获取父目录

  pdir=$(cd -P $(dirname $file); pwd)

  #6. 获取当前文件的名称

  fname=$(basename $file)

  ssh $host "mkdir -p $pdir"

  rsync -av $pdir/$fname $host:$pdir

else

  echo $file does not exists!

fi

done

修改脚本 xsync 具有执行权限

chmod +x xsync

4.集群配置

1）核心配置文件

配置core-site.xml

[atguigu@hadoop102 .ssh]$ cd /opt/module/hadoop-3.1.3/etc/hadoop/

[atguigu@hadoop102 hadoop]$ vim core-site.xml

文件内容如下：

<property>

    <name>fs.defaultFS</name>

    <value>hdfs://hadoop102:8020</value>

</property>

<property>

    <name>hadoop.tmp.dir</name>

    <value>/opt/module/hadoop-3.1.3/data</value>

</property>

<property>

    <name>hadoop.proxyuser.atguigu.hosts</name>

    <value>*</value>

</property>

<property>

    <name>hadoop.proxyuser.atguigu.groups</name>

    <value>*</value>

</property>

<property>

    <name>hadoop.http.staticuser.user</name>

    <value>atguigu</value>

</property>

HDFS文件默认存放在hadoop.tmp.dir/data目录下

2）HDFS配置文件

配置hdfs-site.xml

[atguigu@hadoop102 hadoop]$ vim hdfs-site.xml

文件内容如下：

<property>

    <name>dfs.namenode.secondary.http-address</name>

    <value>hadoop104:9868</value>

</property>

3）YARN配置文件

配置yarn-site.xml

[atguigu@hadoop102 hadoop]$ vim yarn-site.xml

文件内容如下：

<property>

    <name>yarn.nodemanager.aux-services</name>

    <value>mapreduce_shuffle</value>

</property>

<property>

    <name>yarn.resourcemanager.hostname</name>

    <value>hadoop103</value>

    <name>yarn.nodemanager.env-whitelist</name>

    <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>

</property>

<property>

    <name>yarn.scheduler.minimum-allocation-mb</name>

    <value>512</value>

</property>

<property>

    <name>yarn.scheduler.maximum-allocation-mb</name>

    <value>4096</value>

</property>

<property>

    <name>yarn.nodemanager.resource.memory-mb</name>

    <value>4096</value>

</property>

标红的三个分别是单个任务最小内存，最大内存，单个NodeManager最大可分配内存

4）MapReduce配置文件

配置mapred-site.xml

[atguigu@hadoop102 hadoop]$ vim mapred-site.xml

文件内容如下：

<property>

    <name>mapreduce.framework.name</name>

    <value>yarn</value>

</property>

5）配置workers

[atguigu@hadoop102 hadoop]$ vim /opt/module/hadoop-3.1.3/etc/hadoop/workers

在该文件中增加如下内容：

hadoop102

hadoop103

hadoop104

注意：该文件中添加的内容结尾不允许有空格，文件中不允许有空行。

配置历史服务器
为了查看程序的历史运行情况，需要配置一下历史服务器。具体配置步骤如下：

1）配置mapred-site.xml

[atguigu@hadoop102 hadoop]$vi mapred-site.xml

在该文件里面增加如下配置。

<name>mapreduce.jobhistory.address</name>

<value>hadoop102:10020</value>

<name>mapreduce.jobhistory.webapp.address</name>

<value>hadoop102:19888</value>

1.4 配置日志的聚集
日志聚集概念：应用运行完成以后，将程序运行日志信息上传到HDFS系统上。

日志聚集功能好处：可以方便的查看到程序运行详情，方便开发调试。

注意：开启日志聚集功能，需要重新启动NodeManager 、ResourceManager和HistoryManager。

开启日志聚集功能具体步骤如下：

1）配置yarn-site.xml

[atguigu@hadoop102 hadoop]$ vim yarn-site.xml

在该文件里面增加如下配置。

<property>

    <name>yarn.log-aggregation-enable</name>

    <value>true</value>

</property>

<property>  

    <name>yarn.log.server.url</name>  

    <value>http://hadoop102:19888/jobhistory/logs</value>  

</property>

<property>

    <name>yarn.log-aggregation.retain-seconds</name>

    <value>604800</value>

第一次启动需要格式化NN

bin/hdfs namenode -format