Apache Hadoop 2.7.7在CentOS下分布式集群安装

最新推荐文章于 2023-06-21 16:33:45 发布
最新推荐文章于 2023-06-21 16:33:45 发布
阅读量269 收藏 1
点赞数
分类专栏： CentOS下安装各种中间件 文章标签： hadoop 分布式 apache
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_37714753/article/details/117968898
版权

Apache Hadoop 2.7.7在CentOS下分布式集群安装

分布式集群规划

节点名称IPHDFSYARN
bigdata02192.168.237.132NameNode + DataNode 主节点NodeManager
bigdata03192.168.237.133DataNode + SecondaryNamenodeNodeManager
bigdata04192.168.237.134DataNodeNodeManager + ResourceManager主节点

环境准备

基础环境

  • JDK1.8（安装略），CentOS7（安装略），hadoop-2.7.7.tar.gz

  • 关闭防火墙

    #关闭命令
service firewalld stop
chkconfig firewalld off

  • 关闭SELINUX 配置文件：/etc/selinux/config

    #SELINUX=enforcing
SELINUX=disabled

设置hostname

  • 在Master节点的bigdata02机器上，将hostname置为bigdata02

    hostnamectl set-hostname bigdata02

  • 同样的方式在另外两台worker节点上分别设置hostname为bigdata03、bigdata04

配置hosts文件信息

  • 在三个节点都需要配置 vim /etc/hosts，都加入如下内容

    192.168.237.132 bigdata02
192.168.237.133 bigdata03
192.168.237.134 bigdata04

设置节点之间的ssh免密登录

  • 配置132节点到133节点和134节点的ssh免密登录，由于134作为Yarn的主节点，需在134节点启动Yarn集群，还需要配置134节点到132节点和133节点的ssh免密登录，一定要配。

  • 每个节点生成ssh密钥，执行命令后会在~目录下生成.ssh文件夹，里面包含id_rsa和id_rsa.pub两个文件。

    [root@bigdata02 ~]# ssh-keygen -t rsa
Generating public/private rsa key pair.
Enter file in which to save the key (/root/.ssh/id_rsa): 
Created directory '/root/.ssh'.
Enter passphrase (empty for no passphrase): 
Enter same passphrase again: 
Your identification has been saved in /root/.ssh/id_rsa.
Your public key has been saved in /root/.ssh/id_rsa.pub.
.....................
[root@bigdata02 ~]# cd .ssh
[root@bigdata02 .ssh]# ls
id_rsa  id_rsa.pub

  • 在主节点上将公钥拷到一个特定文件authorized_keys中。

[root@bigdata02 ~]# cd .ssh
[root@bigdata02 .ssh]# ls
id_rsa  id_rsa.pub
[root@bigdata02 .ssh]# cp id_rsa.pub authorized_keys
[root@bigdata02 .ssh]# ls
authorized_keys  id_rsa  id_rsa.pub

  • 将authorized_keys文件拷到下一个节点，并将该节点的ssh密钥id_rsa.pub加入该文件中。

    #在bigdata02上使用scp命令实现远程文件拷贝
[root@bigdata02 .ssh]# scp authorized_keys  root@bigdata03:/root/.ssh/
The authenticity of host 'bigdata03 (192.168.237.133)' can't be established.
ECDSA key fingerprint is SHA256:MyB1zs0E3J/fm8pC0AN8ycsgEIBNHtUqd9xS0WAyv3s.
ECDSA key fingerprint is MD5:88:48:3a:ba:3e:14:a7:d7:86:f6:51:74:00:10:f9:00.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added 'hadoop02,192.168.237.133' (ECDSA) to the list of known hosts.
root@bigdata03's password: 
authorized_keys                                                                100%  395   306.2KB/s   00:00    
#登录bigdata03主机
[root@bigdata03 ~]# cd .ssh/
[root@bigdata03 .ssh]# ls
authorized_keys  id_rsa  id_rsa.pub
[root@bigdata03 .ssh]# cat id_rsa.pub >> authorized_keys #使用cat追加方式

  • 重复上一步的操作，将bigdata04节点的ssh密钥加入到authorized_keys文件中，并将bigdata04节点生成的authorized_keys文件拷贝到其他两个节点（bigdata02、bigdata03）即可。

  • 验证免密登录

    使用ssh 用户名@节点名或ssh ip地址命令验证免密码登录。

    [root@bigdata02 .ssh]# ssh root@bigdata03

总述安装步骤

  1. 准备好三台服务器
  2. 在第一个节点中安装Hadoop
    2.1. 解压缩安装
    2.2. 配置Hadoop_env.sh
    2.3. 配置core-sitem.xml
    2.4. 配置hdfs-site.xml
    2.5. 配置mapred-site.xml
    2.6. 配置yarn-site.xml
    2.7. 配置slaves
  3. 分发安装包到每个节点
  4. 所有节点配置环境变量
  5. 初始化Hadoop
  6. 启动集群
  7. 验证安装，启动是否成功

在主节点安装hadoop-2.7.7

  • 在132节点创建路径/hadoop,将hadoop压缩包上传并解压出路径 hadoop-2.7.7

  • 创建集群的相关数据存储目录、name目录和data目录

在这里插入图片描述

修改主节点配置文件

修改hadoop-env.sh配置文件，添加jdk安装目录配置

  • 在路径/hadoop/hadoop-2.7.7/etc/hadoop下，进行配置文件修改

    # The java implementation to use.
export JAVA_HOME=/usr/local/src/jdk8
修改core-site.xml配置文件

  • 在标签中添加如下内容：

      <property>
     <name>fs.defaultFS</name>
     <value>hdfs://bigdata02:9000</value>
     <description>HDFS集群的url</description>
  </property>
  <property>
     <name>hadoop.tmp.dir</name>
     <value>/hadoop/bigdata/tmp</value>
     <description>HDFS集群的相关数据存储目录</description>
  </property>
修改hdfs-site.xml配置文件

  • 在标签中添加如下内容：

    <property>
	<name>dfs.namenode.name.dir</name>
	<value>/hadoop/bigdata/name</value>
	<description>为了保证元数据的安全一般配置多个不同目录</description>
</property>
<property>
	<name>dfs.datanode.data.dir</name>
	<value>/hadoop/bigdata/data</value>
	<description>datanode的数据存储目录</description>
</property>
<property>
	<name>dfs.replication</name>
	<value>3</value>
	<description>HDFS的数据块的副本存储个数</description>
</property>
<property>
	<name>dfs.secondary.http.address</name>
	<value>bigdata03:50090</value>
	<description>secondarynamenode运行节点的信息，和namenode不同节点</description>
</property>
修改mapred-site.xml配置文件

  • 集群只有 mapred-site.xml.template，可以从这个文件进行复制，或者直接改名也可

    cp mapred-site.xml.template mapred-site.xml

  • 然后修改配置文件

    <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>
配置yarn-site.xml配置文件

  • 在标签中添加如下内容：

    	<property>
		<name>yarn.resourcemanager.hostname</name>
		<value>bigdata04</value>
		<description>YARN集群主节点所在节点</description>
	</property>
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
		<description>YARN集群为MapReduce程序提供的shuffle服务</description>
	</property>
配置slaves配置文件
bigdata02
bigdata03
bigdata04

配置系统变量

vim /etc/profile

#set java environment
export JAVA_HOME=/usr/local/src/jdk8
export JRE_HOME=$JAVA_HOME/jre
export CLASS_PATH=.:$JAVA_HOME/lib:$JRE_HOME/lib
export HADOOP_HOME=/hadoop/hadoop-2.7.7
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

source /etc/profile

分发安装到其他节点

[root@bigdata02 /]# scp -r hadoop bigdata03:$PWD
[root@bigdata02 /]# scp -r hadoop bigdata04:$PWD

在主节点执行HDFS集群的初始化

  • 只需在bigdata02节点执行，进入到bin目录下执行

    [root@bigdata02 bin]# ./hadoop namenode -format

  • 注意

    ​ 关于初始化操作，是第一次安装Hadoop集群的时候初始化一次就可以了，而不是后面每次使用的都需要初始化一次。如果你想要把一个旧HDFS集群的数据都给删掉，当做一个新集群来使用。那么可以重新初始化，但是还是要把对应的每个节点数据存储目录先行删掉。然后再初始化。这样又得到了一个新HDFS集群。

启动HDFS集群

  • 按照规划，在bigdata02节点上启动hdfs集群，进入sbin目录执行启动命令

    [root@bigdata02 sbin]# ./start-dfs.sh

在Yarn主节点启动Yarn集群

  • 按规划，在bigdata04节点启动Yarn集群

    [root@bigdata04 sbin]# ./start-yarn.sh

检查集群启动是否成功

  • 在bigdata02上执行jps，按规划，如下正确启动

在这里插入图片描述

  • 在bigdata03上执行jps，按规划，如下正确启动

在这里插入图片描述

  • 在bigdata04上执行jps，按规划，如下正确启动

在这里插入图片描述

Hadoop 集群

  • 包含了 HDFS 和 YARN 两个集群，所以两个集群都分别做一次测试
    关于 HDFS：上传一个文件查看是否存在，再下载下来。

    [root@bigdata02 bigdata]# ls
data  name  SettleRedisConfig.java  tmp
[root@bigdata02 bigdata]# hadoop fs -put SettleRedisConfig.java  /user/java

在这里插入图片描述

在这里插入图片描述

Yarn集群

  • 可提交一个 mapreduce 例子程序

检测web ui启动是否成功

  • 如在windows系统浏览器查看，则需修改win系统的hosts文件进行映射。

    192.168.237.132 bigdata02
    192.168.237.133 bigdata03
    192.168.237.134 bigdata04

HDFS集群的web ui地址：http://bigdata02:50070
YARN集群的web ui地址：http://bigdata04:8088

查看集群状态

hadoop dfsadmin -report
hdfs dfsadmin -report（推荐用这个）

duce 例子程序

检测web ui启动是否成功

  • 如在windows系统浏览器查看，则需修改win系统的hosts文件进行映射。

    192.168.237.132 bigdata02
    192.168.237.133 bigdata03
    192.168.237.134 bigdata04

HDFS集群的web ui地址：http://bigdata02:50070
YARN集群的web ui地址：http://bigdata04:8088

查看集群状态

hadoop dfsadmin -report
hdfs dfsadmin -report（推荐用这个）
the_Alix
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 6
    评论
专栏目录
Hadoop 2.7.7 集群安装教程（详细完整版）
gmHappy
07-20 567
一、环境说明 系统信息 角色 hostname IP地址 CentOS Linux release 7.9.2009 (Core) Mster node01.bigdata.hadoop 192.168.3.14 CentOS Linux release 7.9.2009 (Core) Slave node02.bigdata.hadoop 192.168.3.79 CentOS Linux release 7.9.2009 (Core) Slave node03.bigdata.h
Centos hadoop-2.7.7安装
weixin_54490958的博客
12-27 1948
装好了 CentOS 系统之后，在安装 Hadoop 前还需要做一些必备工作 创建hadoop用户 首先在终端中输入su，按回车，输入 root 密码以 root 用户登录，接着执行命令创建新用户 hadoop: su # 以 root 用户登录 useradd -m hadoop -s /bin/bash # 创建新用户hadoop 接着使用如下命令修改密码，按提示输入两次密码，密码随意指定，若提示“无效的密码，过于简单”则再次输入...
Hadoop安装教程_单机/伪分布式配置_Hadoop 2.7.7(2.7.7)/CentOS Linux release 7.4.1708
wulin_9的专栏
04-22 5084
作为大数据研发工程师基础技能，当开始着手 Hadoop课程教学时，安装 Hadoop 往往会成为新手的一道门槛。尽管安装其实很简单，书上有写到，官方网站也有 Hadoop 安装配置教程，但由于对 Linux 环境不熟悉，书上跟官网上简略的安装步骤新手往往 Hold 不住。加上网上不少教程也甚是坑，导致很多学生折腾老几天愣是没装好，或者看似配置好了，其实还是无法运行，很是打击学习热情。 环境 本教程使用CentOS Linux release 7.4.1708作为系统环境（Centos7.4 64位）..
适合入门hadoop 2.7.7的集群环境搭建高可用版本配置(保姆版)
m0_67144365的博客
05-12 1405
需要的安装包： 1.jdk压缩包 2.hadoop压缩包 百度云盘链接 开始搭建hadoop集群 1 集群规划 安装VMware，使用三台虚拟机进行集群搭建，下面是每台虚拟机的规划： 2 网络配置 2.1 修改主机名和修改虚拟机IP地址，以及添加主机映射 修改虚拟机IP地址 vi /etc/sysconfig/network-scripts/ifcfg-ens33 ​ 添加主机映射（方便后面免密连接） vi /etc/hosts ​ 修改每一天主机名 vi.
hadoop安装教程（一次填完所有的坑）
虫虫的博客
06-21 375
本文主要讲解了如何安装hadoop、使用hadoop的命令及遇到的问题解决，希望能帮助到大家，谢谢
Hadoop单机、伪分布式、分布式集群安装教程
04-16
本教程将指导你如何在不同的模式下安装和配置 Hadoop，包括单机模式、伪分布式模式和分布式集群模式。 首先，我们从**SSH免密登录**开始。SSH (Secure Shell) 是用于远程访问Linux主机的安全协议。在Hadoop环境中，...
Hadoop2.7.7安装过程
10-11
在本文中，我们将详细探讨如何在Linux环境下安装Hadoop 2.7.7，这是一个广泛使用的开源分布式计算框架。在安装过程中，我们会遇到各种问题，但通过学习和实践，我们可以克服这些困难，从而深入理解Hadoop及其依赖...
Hadoop实战之Hadoop完全分布式集群安装.pdf
07-14
Hadoop实战之Hadoop完全分布式集群安装.pdf
hadoop2.7.7
最新发布
07-20
6. **ZooKeeper**：作为一个分布式协调服务，ZooKeeper在Hadoop 2.7.7中继续扮演着重要角色，确保集群中的各个节点能够正确同步和通信。 7. **HBase**：基于HDFS的分布式NoSQL数据库，在这个版本中，HBase可能已经...
VM+CentOS+hadoop2.7搭建hadoop完全分布式集群
01-24
VM+CentOS+hadoop2.7搭建hadoop完全分布式集群，自己实际实用过程的总结
hadoop-2.7.7 windows配置需要的bin文件
04-21
将中bin中文件拷贝到hadoop2.7.7下的bin目录下,将hadoop.dll文件放在C:\Windows\System32目录下，重启电脑
hadoop2.7+centos7+hive+zookeeper分布式安装
03-01
linux上在centos系统中进行hadoop完全分布式集群安装，在hadoop安装完成后的基础之上安装元数据库Mariadb，配置完成后安装hive，zookeeper等。
第一步-hadoop-hadoop-2.7.3在centos7上部署安装（单机版）.zip
12-21
搭建hadoop单机版+hbase单机版+pinpoint整合springboot 第一步-hadoop-hadoop-2.7.3在centos7上部署安装（单机版）
hadoop 2.7.7 安装（测试环境部署） hadoop2.x部署
weixin_33970449的博客
11-01 1279
hadoop 2.7.7 安装（测试环境部署） hadoop2.x部署系统环境（censtos 6.5）：172.16.57.97namenodeyw 172.16.57.98datanodeyw1 172.16.57.238datanodeyw2软件下载：hadoopwgethttp://mirrors.shu.edu.cn/apache/hadoop/commo...
Windows系统Hadoop下载安装
澎湖Java架构师的博客
04-11 3622
Windows系统Hadoop下载安装 Hadoop下载 Hadoop安装 Hadoop环境配置 Hadoop服务启动 Hadoop下载 官网下载地址：https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/ 请求官网下载地址，点击 hadoop-2.7.7 链接 点击 hadoop-2.7.7.tar.gz 链接 点击下载按钮进行下载 Hadoop安装 解压 hadoop-2.7.7.tar.gz 解压 hadoopon
hadoop-2.7.7安装
xys2333的博客
10-15 3657
1.hadoop 安装地址 本人的安装地址为[root@localhost app]# pwd /opt/app 在shell中可以直接用wget. wgethttp://mirrors.hust.edu.cn/apache/hadoop/core/stable/hadoop-2.7.1.tar.gz 下载地址： https://www-eu.apache.org/dist/hadoop/core/ 2.解压hadoop-2.7.7.tar.gz [root@loc...
hadoop 环境搭建 windows10+hadoop2.7.7
qq_33713592的博客
07-09 3229
1 首先是jdk搭建 我下载的是jdk12,下面是网址: https://www.oracle.com/technetwork/java/javase/downloads/index.html 下载完之后解压安装参考博客https://blog.csdn.net/m0_37193944/article/details/88681523 2 安装Cygwin 首先下载 ：注意自己选择64...
Hadoop2.6.0集群安装
benladeng5225
01-08 340
环境 本教程使用 Ubuntu 14.04 64位 作为系统环境，基于原生 Hadoop 2，在 Hadoop 2.6.0 (stable) 版本下验证通过，可适合任何 Hadoop 2.x.y 版本，例如 Hadoop 2.7.1，Hadoop 2.4.1 等。 本教程简单的使用两个节点作为集群环境: 一个作为 Master 节点，局域网 IP 为 192.168.1.121；另一个作为...
教程：centos7下hadoop2.7.7--HA高可用全分布式详细搭建
酒心★
11-15 937
一、概述 （1）hadoop-HA集群运作机制介绍 　　所谓HA，即高可用（7*24小时不中断服务） 　　实现高可用最关键的是消除单点故障 　　hadoop-ha严格来说应该分成各个组件的HA机制——HDFS的HA、YARN的HA （2）HDFS的HA机制详解 　　通过双namenode消除单点故障 　　双namenode协调工作的要点： 　　A、元数据管理方式需要改变： 　　　　内存中各自保存一...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值