Hadoop 3完全分布式集群搭建方法（CentOS 7+Hadoop 3.2.1）

最新推荐文章于 2022-08-16 15:12:35 发布
最新推荐文章于 2022-08-16 15:12:35 发布
阅读量1.4k 收藏 8
点赞数
分类专栏： java Linux 文章标签： 分布式 hadoop linux 大数据
本文为博主原创文章，未经博主允许不得转载。
本文链接：https://blog.csdn.net/ITshu/article/details/105409254
版权
java 同时被 2 个专栏收录
36 篇文章 0 订阅
订阅专栏
Linux
22 篇文章 0 订阅
订阅专栏

这里通过4台Linux虚拟机，详细介绍搭建4个节点的完全分布式Hadoop集群的方法，Linux系统版本是CentOS 7，Hadoop版本是3.2.1，JDK版本是1.8

一、准备环境

  1. 在VMware workstations上创建4个Linux虚拟机，并配置其静态IP。

  2. 配置DNS（每个节点）
    编辑配置文件，添加主节点和从节点的映射关系。

#vim /etc/hosts
192.168.1.13 hadoop01
192.168.1.14 hadoop02
192.168.1.15 hadoop03
192.168.1.16 hadoop04
  1. 关闭防火墙（每个节点）
#关闭服务
[root@hadoop01 opt]# systemctl stop firewalld
#关闭开机自启动
[root@hadoop01 opt]# systemctl disable firewalld
Removed symlink /etc/systemd/system/multi-user.target.wants/firewalld.service.
Removed symlink /etc/systemd/system/dbus-org.fedoraproject.FirewallD1.service.
  1. 配置免密码登录
    有关【配置免密码登录方法】，请参考这里
  2. 配置Java环境（每个节点）
    有关【配置java环境方法】，请参考这里

二、搭建Hadoop完全分布式集群

在各个节点上安装与配置Hadoop的过程都基本相同，因此在主节点master上进行统一配置，然后通过scp 命令将修改的配置文件拷贝到各个从节点上即可。

  1. 下载Hadoop安装包，解压，配置Hadoop环境变量

有关【Hadoop安装包下载方法】，请参考这里。

本文下载的Hadoop版本是3.2.1，指定一个目录（比如：/opt），使用rz命令上传Hadoop安装包到Linux系统，解压到指定目录，配置Hadoop环境变量，并使其生效。实现命令如下：

#解压到/opt目录
[root@hadoop01 opt]# tar -zxvf hadoop-3.2.1.tar.gz
#链接/opt/hadoop-3.2.1到/opt/hadoop，方便后续配置
[root@hadoop01 opt] #ln -s hadoop-3.2.1 hadoop

#配置Hadoop环境变量（每个节点）
[root@hadoop01 opt]# vim /etc/profile
#Hadoop
export HADOOP_HOME=/opt/hadoop # 该目录为解压安装目录
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
export HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop

#保存后，使profile生效
[root@hadoop01 opt]# source /etc/profile
  1. 配置Hadoop环境脚本文件中的JAVA_HOME参数
#进入Hadoop安装目录下的etc/hadoop目录
[root@hadoop01 ~]#cd /opt/hadoop/etc/hadoop

#分别在hadoop-env.sh、mapred-env.sh、yarn-env.sh文件中添加或修改如下参数：

[root@hadoop01 hadoop]# vim hadoop-env.sh 
[root@hadoop01 hadoop]# vim mapred-env.sh
[root@hadoop01 hadoop]# vim yarn-env.sh
export JAVA_HOME="/opt/jdk"  # 路径为jdk安装路径

#验证Hadoop配置是否生效
[root@hadoop01 hadoop]# hadoop version
Hadoop 3.2.1
Source code repository https://github.com/apache/hadoop.git -r 
Compiled by sunilg on 2020 04-08T06:08Z
Compiled with protoc 2.5.0
From source with checksum d3f0795ed0d9dc378e2c785d3668f39
This command was run using /opt/hadoop-3.2.0/share/hadoop/common/hadoop-common-3.2.1.jar
  1. 修改Hadoop配置文件

Hadoop安装目录下的etc/hadoop目录中，需修改core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml、workers文件，根据实际情况修改配置信息。

（1）core-site.xml （配置Common组件属性）

  <configuration>
  <property>
      <!-- 配置hdfs地址 -->
      <name>fs.defaultFS</name>
      <value>hdfs://hadoop01:9000</value>
  </property>
  <property>
      <!-- 保存临时文件目录，需先在/opt/hadoop下创建tmp目录 -->
      <name>hadoop.tmp.dir</name>
     <value>/opt/hadoop/tmp</value>
 </property>
 </configuration>

（2）hdfs-site.xml （配置HDFS组件属性）

<configuration>
      <property>
         <!-- 主节点地址 -->
          <name>dfs.namenode.http-address</name>
          <value>hadoop01:50070</value>
      </property>
      <property>
          <name>dfs.namenode.name.dir</name>
          <value>file:/opt/hadoop/dfs/name</value>
     </property>
     <property>
         <name>dfs.datanode.data.dir</name>
         <value>file:/opt/hadoop/dfs/data</value>
     </property>
     <property>
        <!-- 备份数为默认值3 -->
        <name>dfs.replication</name>
         <value>3</value>
     </property>
        <property>
　　　　<name>dfs.webhdfs.enabled</name>
　　　　<value>true</value>
　　　</property>

　　<property>
　　　　<name>dfs.permissions</name>
　　　　<value>false</value>
　　　　<description>配置为false后，可以允许不要检查权限就生成dfs上的文件，方便倒是方便了，但是你需要防止误删除.</description>
　　</property>
 </configuration>

（3）mapred-site.xml （配置Map-Reduce组件属性）

  <configuration>
      <property>
          <name>mapreduce.framework.name</name>
          <value>yarn</value> #设置MapReduce的运行平台为yarn
      </property>
      <property>
          <name>mapreduce.jobhistory.address</name>
          <value>hadoop01:10020</value>
      </property>
     <property>
         <name>mapreduce.jobhistory.webapp.address</name>
         <value>hadoop01:19888</value>
     </property>
　<property>
　　　<name>mapreduce.application.classpath</name>　　　　<value>$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/*:$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/lib/*</value>
　</property>
</configuration>

（4）yarn-site.xml（配置资源调度属性）

 <configuration>
  <property>
         <name>yarn.resourcemanager.hostname</name> #指定yarn的ResourceManager管理界面的地址，不配的话，Active Node始终为0
         <value>hadoop01</value>
     </property>
     <property>
         <name>yarn.nodemanager.aux-services</name>  #reducer获取数据的方式
         <value>mapreduce_shuffle</value>
     </property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>192.168.1.13:8088</value>
<description>配置外网只需要替换外网ip为真实ip，否则默认为 localhost:8088</description>
</property>
<property>
<name>yarn.scheduler.maximum-allocation-mb</name>
<value>2048</value>
<description>每个节点可用内存,单位MB,默认8182MB</description>
</property>
<property>
<name>yarn.nodemanager.vmem-check-enabled</name>
<value>false</value>
<description>忽略虚拟内存的检查，如果你是安装在虚拟机上，这个配置很有用，配上去之后后续操作不容易出问题。</description>
</property>

<property>
<name>yarn.nodemanager.env-whitelist</name>
<value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
</property>
</configuration>

（5）workers文件

#增加从节点地址（若配置了hosts，可直接使用主机名，亦可用IP地址）
[root@hadoop01 hadoop]# vim workers
hadoop02
hadoop03
hadoop04
  1. 将配置好的文件夹拷贝到其他从节点
[root@hadoop01 hadoop]# scp -r /opt/hadoop-3.2.1 root@hadoop02:/opt/
[root@hadoop01 hadoop]# scp -r /opt/hadoop-3.2.1 root@hadoop03:/opt/
[root@hadoop01 hadoop]# scp -r /opt/hadoop-3.2.1 root@hadoop04:/opt/

每个节点执行：

ln -s hadoop-3.2.1 hadoop
  1. 配置启动脚本，添加HDFS和Yarn权限
添加HDFS权限：编辑如下脚本，在第二行空白位置添加HDFS权限
[root@hadoop01 sbin]# vim sbin/start-dfs.sh 
[root@hadoop01 sbin]# vim sbin/stop-dfs.sh 

HDFS_DATANODE_USER=root
HDFS_DATANODE_SECURE_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

添加Yarn权限：编辑如下脚本，在第二行空白位置添加Yarn权限

[root@hadoop01 sbin]# vim sbin/start-yarn.sh 
[root@hadoop01 sbin]# vim sbin/stop-yarn.sh 

YARN_RESOURCEMANAGER_USER=root
HDFS_DATANODE_SECURE_USER=yarn
YARN_NODEMANAGER_USER=root

注意：若不添加上述权限，则会报错：缺少用户权限定义所致。

ERROR: Attempting to launch hdfs namenode as root
ERROR: but there is no HDFS_NAMENODE_USER defined. Aborting launch.
Starting datanodes
ERROR: Attempting to launch hdfs datanode as root
ERROR: but there is no HDFS_DATANODE_USER defined. Aborting launch.
Starting secondary namenodes [localhost.localdomain]
ERROR: Attempting to launch hdfs secondarynamenode as root
ERROR: but there is no HDFS_SECONDARYNAMENODE_USER defined. Aborting launch.
  1. 初始化 & 启动
#格式化
[root@hadoop01 hadoop-3.2.1]# bin/hdfs namenode -format

#启动（两种方式均可启动）
方法一：
[root@hadoop01 hadoop-3.2.1]# sbin/start-all.sh

方法二：
[root@hadoop01 hadoop-3.2.1]# sbin/start-dfs.sh 
[root@hadoop01 hadoop-3.2.1]# sbin/start-yarn.sh
  1. 验证Hadoop启动成功
#主节点
[root@hadoop01 sbin]# jps
11329 NameNode
11831 ResourceManager
11592 SecondaryNameNode
12186 Jps
#从节点
[root@hadoop02 hadoop]# jps
5152 SecondaryNameNode
5085 DataNode
5245 NodeManager
5357 Jps

[root@hadoop03 opt]# jps
5080 DataNode
5178 NodeManager
5278 Jps

[root@hadoop04 opt]# jps
5090 NodeManager
5190 Jps
4991 DataNode
  1. Web端口访问

注：先开放端口或直接关闭防火墙。

#查看防火墙状态
firewall-cmd --state
#临时关闭防火墙
systemctl stop firewalld
#禁止开机启动防火墙
systemctl disable firewalld

在浏览器输入：http://hadoop01:8088打开ResourceManager页面。

在浏览器输入：http://hadoop01:50070打开Hadoop Namenode页面。

ITshu
关注
  • 0
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
20210823-基于centos7搭建hadoop3.X完全分布式集群
u013531477的博客
08-31 509
#关键字：CentOS7、hadoop/hadoop3/hadoop3.0/hadoop3.x完全分布式集群 一、目标： 1、基于hadoop3在虚拟机上搭建3个节点的hadoop完全分布式集群。 2、集群部署规划： 主机名 服务名 hadoop3 hadoop4 hadoop5 HDFS NameNode DataNode DataNode SecondaryNameNode DataNode YARN ...
手把手教你用Centos7安装完全分布式Hadoop3.2.1
pgs1004151212的博客
02-29 1530
一、设置ssh免密码登录 1.确认ssh服务已经安装并打开： 2.打开文件/etc/ssh/sshd_config，确保以下配置已经添加(如果被"#“注释了就把”#"删除，用sudo完成)： AuthorizedKeysFile .ssh/authorized_keys PubkeyAuthentication yes 3、输入ssh-keygen -t rsa，然后一路回车，...
Centos7 + Hadoop3 搭建伪分布式集群
01-07
操作系统：Centos7 Java：jdk-8u162-linux-x64 hadoop：hadoop-3.2.1 终端连接软件：SecureCRT 关于Centos7的网络配置可以看我的另一篇博客：Centos7的网络配置 一、利用SecureCRT上传文件到root目录 二、关闭防火墙 按顺序执行命令：iptables -F;iptables -X;iptables -Z;iptables -L、iptables-save、setenforce 0 vi /etc/selinux/config 改：SELINUX=Enfocing—>SELINUX=disable 三、ssh免密登录
CentOS7下Hadoop3.2.1集群的安装与部署（下）
01-07
在《CentOS7下Hadoop3.2.1集群的安装与部署（上）》中我们我们完成了对Hadoop集群的安装与启动。接下来，重点对HDFS和Yarn的HA配置进行介绍。 HDFS高可用 在上述Hadoop集群搭建完成之后，若要启用HA还需要对hdfs-site.xml和core-site.xml两个文件进行一点额外的配置。 hdfs-site.xml dfs.nameservices hadoop-cluster dfs.ha.namenodes.hadoop-cluster
Hadoop3.2学习-3.全分布式安装
liukzz的博客
04-26 780
1.修改hadoop-env.sh export JAVA_HOME=/usr/local/jdk1.8.0_161 export HDFS_NAMENODE_USER=root export HDFS_DATANODE_USER=root export HDFS_SECONDARYNAMENODE_USER=root 2.修改core-site.xml <configura...
CentOS7安装Hadoop3完全分布式
大头皮鞋的博客
04-01 7760
前提条件 拥有CentOS7服务器版环境 集群规划 项目 服务器node2 服务器node3 服务器node4 HDFS NameNode、DataNode DataNode DataNode、SecondaryNameNode Yarn NodeManager Resourcemanager、NodeManager NodeManager 虚拟机准备 通网络 能ping通外网，例如： ping baidu.com 如
hadoop3.2.1完全分布式集群安装
web18334137065的博客
08-16 441
版本：Centos7 Haddop3.2.1 JDK1.8。
centos7+hadoop3搭建伪分布式集群[亲测好用]
ergouy's blog
09-13 559
最近学习了hadoop3的伪分布式配置，做一些必要的笔记，一来是对自己学习的知识的巩固，二来对有同样问题的人有参考作用 文章目录一 前置工作二 安装hadoop三 测试四 总结 一 前置工作 1、修改主机名 首先，命令行输入： hostnamectl set-hostname hadoop001 在hosts文件中修改域名映射： vi /etc/hosts 在hosts文件中添加： 内网ip hadoop001 测试是否修改成功： ping hadoop001 2、安装jdk1.8 点击下载.
CentOS7 Hadoop2.7.2完全分布式集群搭建
qq_46266006的博客
10-23 1677
安装三台CentOS 7。 虚拟机网络设置。 1.关闭防火墙，输入命令：systemctl stop firewalld 2.设置静态ip （1）确定网关Gateway IP （2）分别为修改三台虚拟机/etc/sysconfig/network-scripts路径下，相应的 ifcfg-ens33文件 在终端输入：vi /etc/sysconfig/network-scripts 将BOOTPROTO=dhcp改为BOOTPROTO=static 并在...
Centos 7 zookeeper 3.1.4 + hadoop 3.1.2+Hbase 2.1.3完全分布式+高可用（HA）
01-07
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。 本文链接：... 一、 环境说明 主机名 Zookeeper ...(QuorumPeerMain) ...Controller
2.Hadoop3.2.1分布式集群安装
01-20
Hadoop3.2.1 分布式集群安装 1.准备环境： 3 台 linux 虚拟机(CentOs7.x 64 位) ip 为： 192.168.2.100 192.168.2.101 192.168.2.102 对应的 hostname 为： hadoop100 hadoop101 hadoop102 2.虚拟机基本环境配置： ...
CentOS7下Hadoop3.2.1集群的安装与部署（上）
01-07
本篇文章将详细介绍如何在CentOS7服务器上安装并配置Hadoop3.2.1高可用集群。  Hadoop-HA集群的节点规划如下： IP Address Host Name Node Type User Name 172.16.250.234 DN1/JN1 DataNode/...
CentOS 7上搭建Spark 3.0.1 + Hadoop 3.2.1分布式集群
浅墨的博客
11-26 1251
CentOS 7上搭建Spark3.0.1+ Hadoop3.2分布式集群VMWare 安装CentOS 7使用Xshell连接虚拟机集群设置安装JDK 1.8SSH 免密登陆安装hadoop 3.2 VMWare 安装CentOS 7 推荐使用VMware Workstation Pro 16，下载安装即可。 下载最新的CentOS 7 Minimal-2009.iso，在虚拟机安装。推荐1G运存和20G存储。 在CentOS 7的安装过程中，需要设置root用户的密码，还可以根据需要创建单独的用户。
解决异常-ORA-01747 invalid user.table.column, table.column, or column specification
热门推荐
大树下那片阴凉
09-25 2万+
Cause: java.sql.SQLException: ORA-01747: invalid user.table.column, table.column, or column specification原因:1) Oracle数据库中的表字段包含Oracle的关键字，例如包含desc2)包号了数据库中本身就不存在的字段
无法加载DLL xx.dll的解决方案
大树下那片阴凉
02-27 1万+
 无法加载 DLL "xxx.dll":找不到指定的模块(异常来自 HRESULT:0x8007007E)。解决办法:1、将xxx.dll 拷贝到系统目录下/system32/目录下 2、将xxx.dll拷贝到应用程序或DLL目录下/bin/debug/目录下 3、将与xxx.dll相关联的dll文件也拷贝到上面两个目录下 4、没有引用命名空间 imports
PreparedStatement.setDate添加时间
大树下那片阴凉
09-05 7818
调试了好长时间  //将当前日期时间存入数据库    pstmt.setTimestamp(4, new Timestamp(System.currentTimeMillis()));    pstmt.setTimestamp(4, new Timestamp((new java.util.Date()).getTime()));   如果想用jav
CentOS7安装部署CDH6.1.0
大树下那片阴凉
02-13 5765
CentOS7安装部署CDH6.1.0下载相关安装包安装三台服务器修改主机名及映射主机名（所有节点/重启）关闭防火墙和 selinux（所有节点）时钟同步（所有节点）配置 ssh 免密登录（所有节点）禁用透明大页面压缩（所有节点）优化交换分区（所有节点）安装jdk（所有节点）安装 mysql（master）为下表中每个服务创建 utf8 字符集的数据库：安装 cloudera manager 包修...
ibatis中的like语句的写法
大树下那片阴凉
10-28 4728
 网上搜了一下ibatis的关于like的使用select * from USERS where USER_NAME like %wang%;这种like语句在ibatis中怎么写，项目是用ibatis作为持久层的框架。select * from t_stu where s_name like #name#这样写显然不行在调用中需要在参数的前后加上%,比如这样： return sq
hadoop完全分布式集群搭建全过程
最新发布
03-16
Hadoop完全分布式集群搭建全过程如下： 1. 安装Java环境：Hadoop是基于Java开发的，因此需要先安装Java环境。 2. 下载Hadoop：从官网下载Hadoop的最新版本。 3. 配置Hadoop环境变量：将Hadoop的bin目录添加到系统环境变量中。 4. 配置Hadoop集群：编辑Hadoop的配置文件，包括core-site.xml、hdfs-site.xml、mapred-site.xml和yarn-site.xml等。 5. 配置SSH免密登录：在所有节点上配置SSH免密登录，以便Hadoop集群中的各个节点之间可以互相通信。 6. 格式化HDFS：在NameNode节点上执行hadoop namenode -format命令，格式化HDFS文件系统。 7. 启动Hadoop集群：在NameNode节点上执行start-all.sh命令，启动Hadoop集群。 8. 验证Hadoop集群：通过Web界面或命令行工具验证Hadoop集群是否正常运行。 以上就是Hadoop完全分布式集群搭建的全过程。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值