大数据学习连载05篇：Hadoop集群搭建，手把手带你安装配置以及访问

于 2021-03-30 15:20:05 发布
阅读量317 收藏 2
点赞数
分类专栏： 大数据 文章标签： hadoop 大数据 hue集群
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/itcast_cn/article/details/115325260
版权

Hadoop集群搭建

本文导读：2000+字数手把手带你学习集群部署方式以及环境搭建。从解压开始学习~刚入门Hadoop的小伙伴不要错过哦！

一、集群简介

HADOOP集群具体来说包含两个集群：HDFS集群和YARN集群，两者逻辑上分离，但物理上常在一起。

HDFS集群负责海量数据的存储，集群中的角色主要有：

NameNode、DataNode、SecondaryNameNode

YARN集群负责海量数据运算时的资源调度，集群中的角色主要有：

ResourceManager、NodeManager

那mapreduce是什么呢？它其实是一个分布式运算编程框架，是应用程序开发包，由用户按照编程规范进行程序开发，后打包运行在HDFS集群上，并且受到YARN集群的资源调度管理。

二、集群部署方式

Hadoop部署方式有三种：

（1）standalone mode （独立模式）

独立模式又称为单机模式，仅1个机器运行1个java进程，主要用于调试。

（2）Pseudo-Distributed mode（伪分布式模式）

伪分布模式也是在1个机器上运行HDFS的NameNode和DataNode、YARN的 ResourceManger和NodeManager，但分别启动单独的java进程，主要用于调试。

（3）Cluster mode（群集模式）

集群模式主要用于生产环境部署。会使用N台主机组成一个Hadoop集群。这种部署模式下，主节点和从节点会分开部署在不同的机器上。

三、Hadoop重新编译

1.为什么要编译hadoop

由于appache给出的hadoop的安装包没有提供带C程序访问的接口，所以我们在使用本地库（本地库可以用来做压缩，以及支持C程序等等）的时候就会出问题,需要对Hadoop源码包进行重新编译，请注意，资料中已经提供好了编译过的Hadoop安装包，所以这一部分的操作，大家可以不用做，了解即可。

2.Hadoop编译文档

Hadoop的编译步骤可以参考:1_Hadoop编译文档.docx文档

3.Hadoopn集群安装

集群模式主要用于生产环境部署，需要多台主机，并且这些主机之间可以相互访问，我们在之前搭建好基础环境的三台虚拟机上进行Hadoop的搭建。

（1）集群规划

本课程搭建的是集群模式，以三台主机为例，以下是集群规划:

节点信息

10G/ 2cores

7G / 2cores

7G / 2cores

node1.itcast.cn

node2.itcast.cn

node3.itcast.cn

HDFS集群

守护进程

NameNode

√

×

×

SecondaryNameNode

×

√

×

DataNode

√

√

√

YARN集群

守护进程

ResourceManager

√

×

×

NodeManager

√

√

√

（2）解压Hadoop安装包

上传解压hadoop 3.1.4安装文件
cd /export/software
rz

解压
tar -xvzf hadoop-3.1.4.tar.gz -C ../server

# 在每个节点中创建用于存放数据的data目录
# NameNode数据
mkdir -p /export/server/hadoop-3.1.4/data/namenode
# DataNode数据
mkdir -p /export/server/hadoop-3.1.4/data/datanode
准备安装环境

（3）准备安装环境

上传解压hadoop 3.1.4安装文件
cd /export/software
rz

解压
tar -xvzf hadoop-3.1.4.tar.gz -C ../server

# 在每个节点中创建用于存放数据的data目录
# NameNode数据
mkdir -p /export/server/hadoop-3.1.4/data/namenode
# DataNode数据
mkdir -p /export/server/hadoop-3.1.4/data/datanode

4.编辑配置文件

（1）配置NameNode（core-site.xml）

cd /export/server/hadoop-3.1.4/etc/hadoop
vim core-site.xml
--------------------------------
在第19行下添加以下内容：
<property>
  <name>fs.defaultFS</name>
  <value>hdfs://node1.itcast.cn:9820</value>
  <description>配置NameNode的URL</description>
</property>

（2）配置HDFS路径（hdfs-site.xml）

vim hdfs-site.xml
--------------------------------
在第20行下添加以下内容：
<property>
  <name>dfs.namenode.name.dir</name>
  <value>/export/server/hadoop-3.1.4/data/namenode</value>
  <description>NameNode存储名称空间和事务日志的本地文件系统上的路径</description>
</property>
<property>
  <name>dfs.datanode.data.dir</name>
  <value>/export/server/hadoop-3.1.4/data/datanode</value>
  <description>DataNode存储名称空间和事务日志的本地文件系统上的路径</description>
</property>

（3）​​​​​​​配置YARN（yarn-site.xml）

vim yarn-site.xml
--------------------------------
在第18行下添加以下内容：
<property> 
  <name>yarn.nodemanager.aux-services</name>
  <value>mapreduce_shuffle</value> 
</property>
<property>
  <name>yarn.scheduler.minimum-allocation-mb</name>
  <value>512</value>
  <description>为每个容器请求分配的最小内存限制资源管理器（512M）</description>
</property>
<property>
  <name>yarn.scheduler.maximum-allocation-mb</name>
  <value>4096</value>
  <description>为每个容器请求分配的最大内存限制资源管理器（4G）</description>
</property>
<property>
  <name>yarn.nodemanager.vmem-pmem-ratio</name>
  <value>4</value>
  <description>虚拟内存比例，默认为2.1，此处设置为4倍</description>
</property>

（4）​​​​​​​配置MapReduce（mapred-site.xml）

vim mapred-site.xml
----------------------------------
在第20行下添加以下内容：
<property>
  <name>mapreduce.framework.name</name>
  <value>yarn</value>
  <description>执行MapReduce的方式：yarn/local</description>
</property>
<property>
  <name>yarn.app.mapreduce.am.env</name>
  <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
</property>
<property>
  <name>mapreduce.map.env</name>
  <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
</property>
<property>
  <name>mapreduce.reduce.env</name>
  <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
</property>

（5）workers文件

vim /export/server/hadoop-3.1.4/etc/hadoop/workers
----------------------------------
# 删除第一行localhost，然后添加以下三行
node1.itcast.cn
node2.itcast.cn
node3.itcast.cn

（6）​​​​​​​修改hadoop.env环境变量

hadoop.env文件
vim /export/server/hadoop-3.1.4/etc/hadoop/hadoop-env.sh 
修改第54行为：
export JAVA_HOME=/export/server/jdk1.8.0_241

（7）​​​​​​​配置环境变量

vim /etc/profile
export HADOOP_HOME=/export/server/hadoop-3.1.4
export PATH=$PATH:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin:

source /etc/profile

SecureCRT全部退出，重新远程连接

5.​​​​​​​分发配置好的Hadoop安装文件和环境变量

cd /export/server/
scp -r hadoop-3.1.4 node2.itcast.cn:$PWD
scp -r hadoop-3.1.4 node3.itcast.cn:$PWD
scp /etc/profile node2.itcast.cn:/etc
scp /etc/profile node3.itcast.cn:/etc
在每个节点上执行
source /etc/profile

6.格式化HDFS

首次启动HDFS时，必须对其进行格式化操作。本质上是一些清理和准备工作，因为此时的HDFS在物理上还是不存在的。

cd /export/server/hadoop-3.1.4
bin/hdfs namenode -format itcast-hadoop

7.​​​​​​​启动Hadoop集群

要启动Hadoop集群，需要启动HDFS和YARN两个集群。

​​（1）启动HDFS集群

-- 4.1 选择node1.itcast.cn节点启动NameNode节点
hdfs --daemon start namenode

-- 4.2 在所有节点上启动DataNode
hdfs --daemon start datanode

-- 4.3 启动Secondary NameNode
hdfs --daemon start secondarynamenode

（2）启动YARN集群

-- 4.3 选择node1.itcast.cn节点启动ResourceManager节点
yarn --daemon start resourcemanager

-- 4.4 在所有节点上启动NodeManager
yarn --daemon start nodemanager

注意:如果在启动之后，有些服务没有启动成功，则需要查看启动日志，Hadoop的启动日志在每台主机的/export/server/hadoop-x.x.x/logs/目录，需要根据哪台主机的哪个服务启动情况去对应的主机上查看相应的日志，以下是node1主机的日志目录.

8.关闭Hadoop集群

（1）关闭HDFS集群

# 5.1 关闭NameNode
hdfs --daemon stop namenode

# 5.2 每个节点关闭DataNode
hdfs --daemon stop datanode

# 关闭Secondary NameNode
hdfs --daemon stop secondarynamenode

（2）关闭YARN集群

# 5.3 每个节点关闭ResourceManager
yarn --daemon stop resourcemanager

# 5.4 每个节点关闭NodeManager
yarn --daemon stop nodemanager

9.一键启动、关闭

Hadoop 3中不允许使用root用户来一键启动集群

Starting resourcemanager
ERROR: Attempting to operate on yarn resourcemanager as root
ERROR: but there is no YARN_RESOURCEMANAGER_USER defined. Aborting operation.
Starting nodemanagers
ERROR: Attempting to operate on yarn nodemanager as root
ERROR: but there is no YARN_NODEMANAGER_USER defined. Aborting operation.

（1）修改配置配置启动用户

（2）HDFS集群一键脚本

cd /export/server/hadoop-3.1.4/sbin

编辑start-dfs.sh、stop-dfs.sh
在两个文件顶部添加以下内容：
HDFS_DATANODE_USER=root
HDFS_DATANODE_SECURE_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

（3）YARN集群一键脚本

start-yarn.sh、stop-yarn.sh
在两个文件顶部添加以下内容：
YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

（4）一键启动

-- 一键启动HDFS、YARN
start-dfs.sh
start-yarn.sh

（5）一键关闭

stop-dfs.sh
stop-yarn.sh

10.配置windows域名映射

  1. 以管理员身份打开C:\Windows\System32\drivers\etc目录下的hosts文件
  2. 在文件最后添加以下映射域名和ip映射关系

192.168.88.100 node1.itcast.cn

192.168.88.101 node2.itcast.cn

192.168.88.102 node3.itcast.cn

  1. 保存退出
  2. 测试映射是否生效

C:\Users\China>ping node1.itcast.cn

正在 Ping node1.itcast.cn [192.168.88.100] 具有 32 字节的数据:

来自 192.168.88.100 的回复: 字节=32 时间<1ms TTL=64

来自 192.168.88.100 的回复: 字节=32 时间<1ms TTL=64

 

C:\Users\China>ping node2.itcast.cn

正在 Ping node2.itcast.cn [192.168.88.101] 具有 32 字节的数据:

来自 192.168.88.101 的回复: 字节=32 时间<1ms TTL=64

192.168.88.101 的 Ping 统计信息:

    数据包: 已发送 = 1，已接收 = 1，丢失 = 0 (0% 丢失)，

 

C:\Users\China>ping node3.itcast.cn

正在 Ping node3.itcast.cn [192.168.88.102] 具有 32 字节的数据:

来自 192.168.88.102 的回复: 字节=32 时间=9ms TTL=64

来自 192.168.88.102 的回复: 字节=32 时间<1ms TTL=64

来自 192.168.88.102 的回复: 字节=32 时间<1ms TTL=64

11.访问WebUI

NameNode: http://node1.itcast.cn:9870

YARN: http://node1.itcast.cn:8088

 

 

 

黑马程序员官方
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
博客
自学前端需要达到什么水平才能去找工作？来看看这套前端学习路线图
11-26 2万+
自学前端需要达到什么水平？当然是水平越高，越容易找到工作。在竞争这么激烈的2020年，就需要更加的努力，充实自己，让自己不被代替！看了好多的回答，大家都是再说学到什么水平能找到工作，我就来分享干货吧！祝看到这篇干货的小伙伴，工作步步高升！黑马程序员学习路线图及能掌握的能力（总，以下会分阶段，加上配套学习视频，小伙伴可继续往下看！）第一阶段：HTML5+css配套学习视频：前端小白零基础入门HTML5+CSS3完整视频：http://yun.itheima.co.
博客
软件测试全套教程，2020年全新软件测试学习路线图
05-04 1万+
2020年全新的软件测试学习路线图来袭，零基础入行入职必备学习教程，高质量免费资源在线学习！还在等什么，想学习软件测试的小伙伴，快来点击进入学习状态吧！一、基础入门课程亮点1. 熟悉计算机相关概念。2. 掌握基础的测试理论。3. 熟练掌握HTML常用标签input。4. 掌握使用CSS选择器。配套学习视频：软件测试基础入门之HTML基础​软件测试基础入门......
博客
Java多线程编程，来看这篇就够了！全新Java多线程教程！
06-25 6895
对于Java程序员来讲，Spring全家桶几乎可以搞定一切，Spring全家桶便是精妙的招式，多线程就是内功心法很重要的一块，线上出现性能问题，多线程更是不可回避的问题。因此多线程基础知识对于高级程序员的重要性不必言语！很多公司在面试高级程序员时候，多线程相关知识也必定是考核的标准之一。那我们为什么要学习多线程呢？掌握Java多线程可以：应对面试、优化之路、深入理解。应对面试在面试中，求职...
博客
QT教程，QT从入门到实战教程完整版
06-17 7万+
Qt是一个跨平台开发框架，可以使用C++和Qml开发，同时它又不仅仅只是开发框架，它也是一种技术策略，可以让你快速、高效地设计、开发、部署和维护软件，同时在所有设备上提供无缝的用户体验。因而，对于C/C++工程师而言，QT是必须要学习的一个跨平台开发框架，今天分享一个QT教程！课程亮点1，知识体系完备，内容精炼2，脉络清晰，讲解过程把握知识主线。3，结合工作实践及分析应用，培养...
博客
软件测试人员应该如何介绍自己测试过的项目
05-09 4万+
测试人员在找工作的过程中，通常有一个问题是很难绕开的。就是要如何向别人介绍自己之前做过的项目。下面我们就这个问题简单的做一些分析。要解决这个问题，大体上可以分为如下几个步骤：1、对项目进行基本介绍2、说明自己负责测试的模块3、针对部分模块展开进行说明一. 对项目进行基本介绍以下就以一个简单的项目进行介绍说明：最近测试的Tpshop项目是一个B/S架构的Web项...
博客
软件测试全套教程，软件测试自学线路图
07-09 19万+
软件测试：软件测试是为了发现程序中的错误而执行程序的过程。通俗的说，软件测试需要在发布软件之前，尽可能的找软件的错误，尽量避免在发布之后给用户带来不好的体验，并要满足用户使用的需求。现在市面上这么多软件，每个软件背后都有软件测试工程师的功劳，这也造就了软件测试行业前景非常好，今天我就分享一下自学线路图，及全套教程！软件测试学习线路图点击查看大图第一阶段：该...
博客
Python入门教程完整版（懂中文就能学会）
09-28 18万+
今天本宝宝给大家带来了干货，Python入门教程完整版，完整版啊！完整版！言归正传，我来给大家介绍一下这套教程，希望每个小伙伴都沉迷学习，无法自拔！本套教程学习时间15天1-3天内容：为Linux基础命令4-13天内容：为Python基础教程14-15 天内容：为飞机大战项目演练第一阶段（1-3天）：该阶段首先通过介绍不同领域的三种操作系统，操作系统的发展简史以及...
博客
Java学习路线图，全套Java基础视频教程
09-07 23万+
深知广大爱好Java的人学习是多么困难，没视频没资源，上网花钱还老被骗。为此我呕心沥血整理了这套Java教程，不管你是不懂电脑的小白，还是已经步入开发的大牛，这套路线路你都值得拥有，小白看上面的视频可以成功学会Java并且顺利工作，大神看了上面的资源肯定会谆谆乐道，教程的宗旨就是分享，专业，便利，让喜爱Java的人，都能平等的学习。首先建立好开发环境非常重要，工欲善其事，必先利其器。做任何开发.........
博客
千字Java学习路径，超全！从零基础到精通~
07-01 348
Java并发编程实践》是并发编程的里程碑著作，从并发编程的基本理论入手，逐步介绍设计Java并发程序时的重要设计原则、设计模式及思维模式，使开发人员能够快速领悟Java并发编程要领，迅速构建大规模并发应用程序。这本书详细讲解了Java SE的所有内容及其原理，如果你能彻底掌握这本书，将会为你未来的技术进阶打下坚实的基础。《Java核心技术卷2：高级特征》全面覆盖了Java技术的高级主题，对Java技术的阐述精确到位，叙述方式深入浅出，并包含大量示例，帮助读者充分理解Java语言及其类库的相关特性。
博客
Java若依框架入门，初始化项目、Maven构建等配置
06-28 873
这些版本的框架为开发者提供了多样化的选择，无论是传统的Web应用、现代化的前后端分离应用，还是复杂的微服务架构和跨平台的移动端应用，都能找到合适的若依框架版本来满足开发需求。
博客
Python学习指南：6个步骤快速上手
06-27 944
Python 是一种高级解释型编程语言，由 Guido van Rossum 创建，首次发布于1991年。它注重代码的可读性，其语法允许程序员用比C++或Java更少的代码行来表达相同的概念。Python 支持多种编程范式，包括过程式编程、面向对象编程和函数式编程。简单来说，这意味着它非常灵活，可以用不同的方式编写代码，无论是为计算机设定一系列任务（过程式），创建事物或概念的数字模型（面向对象），还是像处理数学问题一样处理代码（函数式）。
博客
鸿蒙开发培训，5000家App已加入鸿蒙生态，华为鸿蒙设备增长至9亿
06-24 375
在2024年华为开发者大会上，华为终端BG CEO余承东宣布，目前鸿蒙生态设备已超过9亿，HarmonyOS开发者人数达到了254万，鸿蒙学堂的参与人次达到了435万。余承东指出，鸿蒙原生应用已进入全面冲刺阶段，并呼吁更多开发者加入鸿蒙生态。华为也承诺将持续提供完善的开发工具及资金扶持。鸿蒙生态的快速发展为开发者提供了广阔的前景和机遇。那么，如何投身鸿蒙技术，成为一名合格的鸿蒙开发者呢？以下是详细的学习路径，帮助你从基础到进阶，逐步掌握鸿蒙开发的核心技术。
博客
Python入门，Python爬虫基础知识
06-19 507
网络爬虫（Web Crawler 或 Spider）是一种在互联网上自动获取信息的程序。它根据设定的规则，从互联网上下载网页、图片、视频等内容，并提取有用信息进行处理。简而言之，网络爬虫就像是在互联网上自动“爬行”的程序，从一个或多个初始网页开始，读取网页内容，找到其中的链接，再通过这些链接找到下一个网页，如此循环，直到抓取完所有目标网页。网络爬虫的应用非常广泛，如搜索引擎的网页抓取、数据挖掘、网站监测等。例如，搜索引擎通过爬虫技术抓取网页信息，建立索引数据库，以便用户进行关键词搜索时能快速找到相关信息。
博客
Java入门，深入理解Java平台及其关键特性
06-19 456
Java的标志性特点是“一次编写，到处运行”（Write once, run anywhere）。通过字节码和Java虚拟机（JVM），Java可以在不同的操作系统和硬件上运行，这种跨平台的抽象屏蔽了底层的细节，使得Java程序具备了很强的可移植性。
博客
5分钟上手Python爬虫，轻松掌握爬虫技巧
06-17 1216
本文的重点在于引导读者初步掌握爬虫技术。入门并不难，但在实际操作中可能会遇到一些困难，比如有些网站不允许直接访问，需要登录或进行人机验证等。因此，建议先从爬取一些新闻资讯类的网站开始，因为这样相对容易。涉及用户支付等敏感信息的网站就不那么容易获取了。因此，在入门阶段，不要选择太复杂的网站，先尝试简单的爬取。一旦理解了基本原理，遇到问题时可以考虑添加组件或使用第三方库来解决。# 初始化彩色输出init()# 定义颜色# 打印初始信息。
博客
Java面试重点知识体系解析及高效复习指南
06-12 342
Java 后端的知识体系非常庞大，在准备面试时，需要优先抓住重点进行复习。
博客
鸿蒙开发培训，5分钟学会鸿蒙开发语言关键知识点
06-11 781
ArkTS 是 HarmonyOS 的主要开发语言。它在 TypeScript 的基础上进行了优化和扩展，保留了 TypeScript 的优点，同时屏蔽了其缺点，并与 ArkUI 框架一起构建了鸿蒙应用。本文将介绍 ArkTS 的相关内容。基于上述需求，ArkTS 强制使用静态类型。这意味着在 ArkTS 中，声明变量、函数参数和返回值时必须指定类型，并在编译时进行严格的类型检查。
博客
深入理解三大经典算法：快速排序、动态规划背包问题和Dijkstra算法
06-06 345
很多业务场景需要算法，成熟的算法可以提高效率，减少不必要出现的问题，规避风险！今天给大家总结了3个在实现业务场景中使用到的算法，分享给你。
博客
Java学习：Java中的常见数据结构以及其示例代码
06-05 252
这些示例代码展示了如何使用Java中的一些常见数据结构。你可以根据具体需求进行修改和扩展，以适应不同的应用场景。了解和熟练使用这些数据结构，将帮助你编写出更高效、可维护的代码。在Java编程中，了解和掌握常见的数据结构是至关重要的。
博客
掌握Java的80%：面向对象与并发编程
06-04 642
Java作为一种广泛使用的编程语言，其强大之处在于其面向对象的特性和对并发编程的卓越支持。作为一名程序员，深刻理解Java的面向对象概念、集合框架、多线程与并发编程，以及Java虚拟机（JVM）的基础知识，对于编写高效、可维护的代码至关重要。本文将引导你快速掌握这些核心概念。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值