CentOS 7 搭建 Hadoop2.7.3 完全分布式集群

最新推荐文章于 2020-04-24 20:18:53 发布
最新推荐文章于 2020-04-24 20:18:53 发布
阅读量779 收藏 6
点赞数 1
分类专栏： 大数据技术 文章标签： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u010360923/article/details/90513693
版权

CentOS 7 搭建 Hadoop2.7.3 完全分布式集群

0x00 准备工作

本文欲创建三台主机作为Hadoop集群，其中ip和主机名分配如下：

10.1.1.91	hadoop01
10.1.1.92	hadoop02
10.1.1.93	hadoop03

0x01 安装虚拟机VMware以及CentOS 7 系统

VMware官网：https://www.vmware.com/
CentOS官网：https://www.centos.org

0x02 CentOS7 系统的基本配置

注：以下操作均以root身份完成

一、网络设置

1.设置主机IP、网关、DNS等
# 使用 ip addr 命令查看当前获取的IP地址，记录下自己的IP网段和网关地址
ip addr
#
# 修改 /etc/sysconfig/network-scripts/ifcfg-ens33 文件内容(注：33 这数字不同主机可能不同，请自查)
vi  /etc/sysconfig/network-scripts/ifcfg-ens33

在原有基础上修改和添加如下内容：

TYPE=Ethernet
PROXY_METHOD=none
BROWSER_ONLY=no
# 将主机获取IP方式设为静态
BOOTPROTO=static
DEEROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=ens33
#删除UUID,防止克隆时出现两台机器的唯一标识是一样的
DEVICE=ens33
ONBOOT=yes
# 设置固定IP
IPADDR=10.1.1.91
# 设置网关
GATEWAY=10.1.1.2
# 设置子网掩码
NETMASK=255.255.255.0
# 设置主DNS
DNS1=114.114.114.114
# 设置备用DNS
DNS2=8.8.8.8

配置完成后，重启网络服务

systemctl restart network.service

注：配置的IP的地址、网关等，请与VMware软件网络设置里的 NAT 网段保持一致，否则请自行修改

2. 修改主机名

方法一直接修改hostname

#
# 用vi 编辑器打开 hostname 修改内容为主机名
vi /etc/hostname
#
# 内容如下：
hadoop01

方法二使用hostnamctl命令

hostnamectl set-hostname hadoop01
3.修改系统yum默认源

将源配置为国内阿里云源
a.新建一个repo.bak目录，用于备份系统中原来的repo文件

#
# 新建 repo.bak 目录
mkdir /etc/yum.repos.d/repo.bak
# 备份
mv /etc/yum.repos.d/*.repo /etc/yum.repos.d/repo.bak

b.下载阿里云的 CentOS7 repo文件

curl http://mirrors.aliyun.com/repo/Centos-7.repo > /etc/yum.repos.d/CentOS-Base.repo

c.清除系统yum缓存并生成新的yum缓存

#
# 清除系统所有的yum缓存
yum clean all
#
# 生成yum缓存
yum makecache
#
# 安装epel源
yum install -y epel-release
4.关闭防火墙，SELinux

a.关闭防火墙

# 临时关闭
systemctl stop firewalld
# 禁止开机启动
systemctl disable firewalld
# 输出
~ Removed symlink /etc/systemd/system/multi-user.target.wants/firewalld.service.
~ Removed symlink /etc/systemd/system/dbus-org.fedoraproject.FirewallD1.service.

b.永久关闭SELinux

# 使用vi打开SELinux配置文件
vi /etc/selinux/config
#
# 更改SELINUX=enforcing为如下内容
SELINUX=disabled
#
# 重启主机并查看SElinux状态
/usr/sbin/sestatus
#
# 输出 
~ SELinux status: disabled

二、克隆虚拟机

通过VMware克隆已经基本配置过的主机可以节省时间
需要注意如下几点：
1.克隆之后静态IP需要修改，参考本文 – 修改主机名
2.主机名需要修改，参考本文 – 设置主机IP、网关、DNS等
3.通过克隆部署完群集主机后，在hosts文件中添加ip与主机名的映射关系，如

# 通过vi编辑/etc/hosts文件
[root@hadoop01 ~]# vi /etc/hosts
#
# 添加ip与主机名的映射关系
10.1.1.91	hadoop01
10.1.1.92	hadoop02
10.1.1.93	hadoop01

三、集群间设置SSH免密钥

方便集群间相互通信
ssh免密码的设置：要求每两台主机之间设置免密码，自己的主机与自己的主机之间也要求设置免密码，执行完毕公钥在/root/.ssh/id_rsa.pub
1.在主机hadoop01执行一下操作：

[root@hadoop01 ~]# ssh-keygen -t rsa
[root@hadoop01 ~]# ssh-copy-id hadoop01
[root@hadoop01 ~]# ssh-copy-id hadoop02
[root@hadoop01 ~]# ssh-copy-id hadoop03

2.在主机hadoop02执行一下操作：

[root@hadoop02 ~]# ssh-keygen -t rsa
[root@hadoop02 ~]# ssh-copy-id hadoop02
[root@hadoop02 ~]# ssh-copy-id hadoop01
[root@hadoop02 ~]# ssh-copy-id hadoop03

3.在主机hadoop03执行一下操作：

[root@hadoop03 ~]# ssh-keygen -t rsa
[root@hadoop03 ~]# ssh-copy-id hadoop03
[root@hadoop03 ~]# ssh-copy-id hadoop01
[root@hadoop03 ~]# ssh-copy-id hadoop02

0x10 安装配置hadoop集群

安装wget下载工具：

yum install wget

0x11 下载jdk1.8和hadoop2.7

一、下载jdk

1.到甲骨文jdk下载页面：https://www.oracle.com/technetwork/java/javase/downloads/index.html
2.下滑找到jdk1.8
在这里插入图片描述3. 选择Linux_x64的压缩包版本
在这里插入图片描述
本文主机中使用的是：JDK8u121,上述仅作下载说明
4.拷贝到虚拟主机
注：也可以直接到虚拟主机中使用wget下载：

wget https://download.oracle.com/otn/java/jdk/8u211-b12/478a62b7d4e34b78b671c754eaaf38ab/jdk-8u211-linux-x64.tar.gz

二、下载hadoop

1.hadoop官网：http://hadoop.apache.org/
在这里插入图片描述2.选择hadoop版本
在这里插入图片描述3.选择对你而言较快的镜像位置进行下载
备注：本文主机中使用的是：hadoop-2.7.3,上述仅作下载说明
4.拷贝到虚拟主机
注：也可以直接到虚拟主机中使用wget下载：

wget https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-2.7.7/hadoop-2.7.7.tar.gz

0x12 配置jdk1.8

1.解压配置jdk

# 查询默认安装的jdk
[root@hadoop01 ~]# rpm -qa|grep java
#
# 卸载该jdk   
[root@hadoop01 ~]# rpm -e –nodeps jdk_name
#
# 在/opt下新建module存放第三方软件模块
[root@hadoop01 ~]# mkdir /opt/module
#
# 解压到/opt/module
[root@hadoop01 ~]# tar zxvf  jdk*.tar.gz  -C  /opt/module/
#
# 通过编辑/etc/profile，配置java环境变量  
[root@hadoop01 ~]# vi /etc/profile
#
# 在文件末尾添加如下内容
# JDK
export  JAVA_HOME=/opt/module/jdk1.8.0_121
export  PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/sbin
#
# 保存退出，执行source 使其生效
[root@hadoop01 ~]# source  /etc/profile
#
# 测试是否配置成功
[root@hadoop01 ~]# java -version
[root@hadoop01 ~]# javac -version

2.将jdk及其拷贝到其他主机

# 使用scp 命令拷贝jdk到其他节点
[root@hadoop01 ~]# scp -r /opt/module/jdk1.8.0_121 root@hadoop02:/opt/module/
[root@hadoop01 ~]# scp -r /opt/module/jdk1.8.0_121 root@hadoop03:/opt/module/
#
# 使用scp 命令拷贝环境变量到其他节点
[root@hadoop01 ~]# scp /etc/profile root@hadoop02:/etc/
[root@hadoop01 ~]# scp /etc/profile root@hadoop03:/etc/
#
# 执行source 使其他节点的环境变量生效
[root@hadoop01 ~]# ssh root@hadoop02 "source /etc/profile"
[root@hadoop01 ~]# ssh root@hadoop03 "source /etc/profile"

0x12 配置hadoop

一、解压hadoop并配置环境变量

1 解压

[root@hadoop01 ~]# tar zxvf hadoop*.tar.gz -C /opt/module/

2 环境变量设置

# 使用vi 编辑/etc/profile文件
[root@hadoop01 ~]# vi /etc/profile
#
# 在末尾末尾追加
# HADOOP
export HADOOP_HOME=/opt/module/hadoop-2.7.3
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
#
# 生效  
[root@hadoop01 ~]# source  /etc/profile

二、编辑hadoop完全分布式集群的配置文件

hadoop 的配置文件在安装目录 /etc/hadoop/ 下
本文中也就是 /opt/module/hadoop2.7.3/etc/hadoop/

1 编辑 hadoop-env.sh
添加JDK的路径,如

JAVA_HOME=/opt/module/jdk1.8.0_121

在这里插入图片描述
2 编辑 hdfs-site.xml
在标签内填入如下内容：

<!-- Put site-specific property overrides in this file. -->
<configuration>
<!--注释配置数据块的冗余度，默认是3-->
<property>
             <name>dfs.replication</name>
             <value>3</value>
</property>
<!--secondaryNameNode的主机地址-->
<property>
         <name>dfs.namenode.secondary.http-address</name>
         <value>hadoop01:50090</value>
</property>
<property>
		<name>dfs.permissions</name>
		<value>false</value>
		<description>
 		If "true", enable permission checking in HDFS.
 		If "false", permission checking is turned off,
 		but all other behavior is unchanged.
 		Switching from one parameter value to the other does not change the mode,
 		owner or group of files or directories.
		</description>
</property>
</configuration>

3 编辑 core-site.xml
在标签内填入如下内容：

<!-- Put site-specific property overrides in this file. -->
<configuration>
<!--配置HDFS主节点，namenode的地址，9000是RPC通信端口-->
<property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop01:9000</value>
</property>
<!--配置HDFS数据块和元数据保存的目录，一定要修改-->
<property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/module/hadoop-2.7.3/tmp</value>
</property>
</configuration>

4 编辑 core-site.xml
在标签内填入如下内容：

<!-- Put site-specific property overrides in this file. -->
<configuration>
<!--配置HDFS主节点，namenode的地址，9000是RPC通信端口-->
<property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop:9000</value>
</property>
<!--配置HDFS数据块和元数据保存的目录，一定要修改-->
<property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/module/hadoop-2.7.3/tmp</value>
</property>
</configuration>

5 编辑 mapred-site.xml
在标签内填入如下内容：

<!-- Put site-specific property overrides in this file. -->
<configuration>
<!--配置MR程序运行的框架-->
<property>
          <name>mapreduce.framework.name</name>
          <value>yarn</value>
</property>
</configuration>

6 编辑 yarn-site.xml　
填入如下内容：

<configuration>
<property>
		<name>yarn.resourcemanager.hostname</name>
		<value>hadoop01</value>
</property>
<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
</property>
</configuration>

7 编辑 slaves
填入集群的主机名称：

hadoop01
hadoop02
hadoop02

三、使用scp 命令拷贝hadoop及配置到其他节点

拷贝hadoop

# 拷贝到hadoop02
[root@hadoop01 ~]# scp -r /opt/module/hadoop-2.7.3 root@hadoop02:/opt/module/
#
# 拷贝到hadoop03
[root@hadoop01 ~]# scp -r /opt/module/hadoop-2.7.3 root@hadoop03:/opt/module/

拷贝/etc/profile

# 使用scp 命令拷贝环境变量到其他节点
[root@hadoop01 ~]# scp /etc/profile root@hadoop02:/etc/
[root@hadoop01 ~]# scp /etc/profile root@hadoop03:/etc/

四、启动集群

首次启动需要格式化namenode

# format
hadoop namenode -format

启动

# 在主节点执行，当然更推荐先执行start-dfs.sh，再执行 start-yarn.sh的方式来启动hadoop
start-all.sh
#
# 如要关闭则执行：
stop-all.sh

五、查看

1 使用jps查看运行的作业
hadoop01节点：

[root@hadoop01 ~]# jps
7586 NameNode
7718 DataNode
8040 ResourceManager
8456 Jps
8155 NodeManager
7886 SecondaryNameNode

hadoop02和hadoop03节点：

[root@hadoop02 ~]# jps
7392 Jps
7246 NodeManager
7135 DataNode

[root@hadoop03 ~]# jps
7417 Jps
7178 DataNode
7277 NodeManager

2 web访问50070和80888端口
50070端口：
在这里插入图片描述8088端口
在这里插入图片描述

0x30 其他

0x31 可能遇到问题

【待补充】

0x32 参考

【待补充】

7INrelief
关注
  • 1
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
centos7 安装 hadoop 2.7.3集群.docx
09-19
### CentOS 7 下 Hadoop 2.7.3 集群安装与配置详细步骤 #### 一、配置 hosts 文件及建立 Hadoop 运行帐号 - **配置 hosts 文件**： - 打开 `/etc/hosts` 文件，并编辑添加主机名与 IP 地址的映射关系。 - 示例：...
Hadoop-2.7.3完全分布式集群搭建（Centos7系统）
孙大圣的博客
06-03 9094
实验环境Centos7 使用Hadoop2.7.3和jdk1.8搭建4个结点的完全分布式,一个namenode，3个datanode 192.168.159.101 master 192.168.159.102 node1 192.168.159.103 node2 192.168.159.104 node3 1.首先做好准备工作 下载好对应的hadoop和jdk版本 ...
CentOS7安装Hadoop2.7.3完整流程及总结
热门推荐
wl0909的博客
11-26 1万+
CentOS7安装Hadoop2.7.3完整流程及总结
在CentOS7上实现Hadoop2.7.3完全分布式的安装部署（小白版）
u013711983的博客
05-14 3799
作为一个小小白，硬着头皮在安装部署这个分布式计算平台的过程中，虽然看到了很多博客，但是很多小坑也是令人十分头痛。这篇博客，从小小白的角度出发，来讲解如何在CentOS中，来部署安装完全分布的Hadoop2.7.3。第一步：安装虚拟机以及Linux系统Hadoop官网上推荐使用Linux系统作为开发测试和生产环境的平台。因此，首先安装VMware软件并进行破解，直接搜索下载破解即可。其次，下载Lin...
CentOS7.0下Hadoop2.7.3的集群搭建
david's Blog
04-21 5797
CentOS7.0下Hadoop2.7.3的集群搭建
CentOS7下搭建hadoop2.7.3完全分布式
weixin_33737134的博客
08-27 195
这里搭建的是3个节点的完全分布式，即1个nameNode，2个dataNode，分别如下： CentOS-master   nameNode   192.168.11.128 CentOS-node1   dataNode    192.168.11.131 CentOS-node2   dataNode    192.168..11.132 1.首先创建好一个CentOS虚拟机，将它作为主节点我...
hadoop2.7.3伪分布式环境搭建与验证.docx
09-26
本教程将详细介绍如何在本地机器上搭建 Hadoop 2.7.3 的伪分布式环境，为初学者提供一个实践和学习 Hadoop 的基础平台。 **总体环境** 在搭建 Hadoop 伪分布式环境之前，我们需要一个适合运行 Hadoop 的基础环境。...
centos7+hadoop2.7.3+jdk1.8
11-01
本文将详细讲解如何在CentOS7上安装Hadoop2.7.3和JDK1.8，以及相关配置步骤。 首先，我们需要确保系统主机名正确设置，这对于集群中的节点间通信至关重要。在CentOS7中，可以通过以下步骤修改主机名： 1. 使用`vi`...
Hadoop2.7.3+HBase1.2.5+ZooKeeper3.4.6搭建分布式集群环境详解
11-10
### Hadoop2.7.3+HBase1.2.5+ZooKeeper3.4.6搭建分布式集群环境详解 #### 一、环境说明与理解 - **环境概述**：文档介绍了如何通过Hadoop、HBase以及ZooKeeper来构建一个分布式的集群环境。这种环境主要用于处理大...
hadoop2.7.3搭建教程_使用vm、centos7
12-14
在本教程中，我们将深入探讨如何使用VMware和CentOS7操作系统来搭建Hadoop 2.7.3集群。Hadoop是Apache软件基金会的一个开源框架，主要用于存储和处理大规模数据，尤其适合处理和分析分布式系统中的海量数据。通过...
非常详细的centos7.0下Hadoop2.7.1集群搭建教程
09-26
非常详细的centos7.0下Hadoop2.7.1集群搭建教程，内附自己的解决办法和提示
centos7 搭建hadoop2.7.3完全分布式集群环境
三天不读书，感觉像只猪
10-25 5168
准备工作 装JDK 修改本地计算机名 修改hostname 重启 配置hadoop配置文件 克隆虚拟机到node1 ssh免密登录 格式化只在master 启动只在master准备工作两台centos虚拟机： 主机 别名 192.168.0.49 master 192.168.0.53 node1 两台主机用户名都为sunpeng（听说要统一） 首先配置master主机，配置
CentOS7.5搭建Hadoop2.7.6完全分布式集群
Frank409167848的博客
07-09 4011
一 完全分布式集群搭建 Hadoop官方地址：http://hadoop.apache.org/ 1  准备3台客户机 1.2 关闭防火墙，设置静态IP，主机名 关闭防火墙，设置静态IP，主机名此处略，参考  Linux之CentOS7.5安装及克隆 1.2 修改host文件 我们希望三个主机之间都能够使用主机名称的方式相互访问而不是IP，我们需要在hosts中配置其他主机的host。...
Hadoop HA高可用集群环境搭建（CenOS7）
Universe — Higher and farther
11-21 1322
Hadoop HA 集群简介：       HDFS集群中NameNode 存在单点故障（SPOF）。对于只有一个NameNode的集群，如果NameNode机器出现意外情况，将导致整个集群无法使用，直到NameNode 重新启动。      影响HDFS集群不可用主要包括以下两种情况：一是NameNode机器宕机，将导致集群不可用，重启NameNode之后才可使用；二是计划内的NameNode节...
Centos7上搭建hadoop2.7.3分布式集群环境实验记录
whdxkcx的博客
09-13 831
              Centos7上搭建hadoop2.7分布式集群环境实验记录1.准备三台虚拟机。2.修改三台虚拟机的主机名分别为master,slave01,slave02,然后修改每台机器的/etc/hosts文件，清空原来的内容，添加如下内容：172.16.136.227  master172.16.136.229 slave01172.16.136.228 slave02 3.配...
centos7 hadoop 单机模式安装配置
主要分享大数据相关的知识，如Spark、Hudi
05-07 1万+
转载请务必注明原创地址为：http://dongkelun.com/2018/03/23/hadoopConf/ 前言 由于现在要用spark,而学习spark会和hdfs和hive打交道，之前在公司服务器配的分布式集群，离开公司之后，自己就不能用了，后来用ambari搭的三台虚拟机的集群太卡了，所以就上网查了一下hadoop+hive的单机部署，以便自己能进行简单的学习，这里记录一下，本来想......
centos7 搭建ha(高可用)hadoop2.7.3集群
井桂印
06-29 3561
写在前面作为一个单体应用开发人员对于理解分布式应用和微服务的理论还可以。但是部署分布式环境来说还是一个挑战。最近在学习hadoop，正也把学习的东西分享出来，希望帮助感兴趣的人。 前面一章写了centos7搭建hadoop集群 再跟着做本章实验前建议初学者先去实验上一章的内容。有任何问题欢迎反馈，我也好做出修改。 ha(高可用)hadoop2.7.3集群,主要是为了消除spof(单点故障)，解
centos7+hadoop2.7.4集群搭建
weixin_37971189的博客
04-24 234
安装JDK（每台都需要安装） 1.下载jdk 官网下载 2.安装jdk 将jdk压缩包解压，解压到/opt/java目录下 3.java环境变量配置 echo 'export JAVA_HOME=/opt/java/jdk1.8.0_212' > /etc/profile.d/java8.sh echo 'export PATH=$PATH:$JAVA_HOME/bin' >>...
Centos7上搭建hadoop3.0.3完全分布式 （.tar.gz）
wudinaniya的博客
07-26 6328
这里搭建的是3个节点的完全分布式，即1个nameNode，2个dataNode,分别如下： master    nameNode    192.168.0.249 node1    dataNode    192.168.0.251 node2    dataNode    192.168.0.252 1.首先创建好一个CentOS虚拟机，将它作为主节点我这里起名为master，起什么都行...
Hadoop 2.7.3+Zookeeper 3.4.8 分布式环境搭建教程
本文档主要介绍了如何在分布式环境下搭建Hadoop 2.7.3版本与Zookeeper 3.4.8版本的集群。首先，作者提供了详细的准备步骤，包括选择操作系统（CentOS 6.5）、安装Java环境（JDK 8u101）、以及Hadoop和Zookeeper的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值