Linux企业运维——Hadoop大数据平台（上）Hadoop工作原理、部署、资源管理器Yarn

最新推荐文章于 2023-06-27 08:21:36 发布
最新推荐文章于 2023-06-27 08:21:36 发布
阅读量878 收藏 5
点赞数 1
分类专栏： Linux企业运维实战 文章标签： hadoop big data 运维
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44310047/article/details/120102847
版权

Linux企业运维——Hadoop大数据平台（上）Hadoop工作原理、部署、资源管理器Yarn

文章目录

一、Hadoop简介

1.1、Hadoop框架与模块

Hadoop名字不是一个缩写，是Hadoop之父Doug Cutting儿子毛绒玩具象命名的。

Hadoop起源于Google的三大论文：

  • GFS：Google的分布式文件系统Google File System
  • MapReduce：Google的MapReduce开源分布式并行计算框架
  • BigTable：一个大型的分布式数据库

演变关系：

  • GFS—->HDFS
  • Google MapReduce—->Hadoop MapReduce
  • BigTable—->HBase

hadoop主流版本：

  • Apache基金会hadoop
  • Cloudera版本（Cloudera’s Distribution Including Apache Hadoop，简称“CDH”）
  • Hortonworks版本（Hortonworks Data Platform，简称“HDP”）

在这里插入图片描述
Hadoop框架包括以下四个模块：

  • Hadoop Common:
    这些是其他Hadoop模块所需的Java库和实用程序。这些库提供文件系统和操作系统级抽象，并包含启动Hadoop所需的Java文件和脚本。
  • Hadoop YARN: 这是一个用于作业调度和集群资源管理的框架。
  • Hadoop Distributed File System (HDFS): 分布式文件系统，提供对应用程序数据的高吞吐量访问。
  • Hadoop MapReduce：这是基于YARN的用于并行处理大数据集的系统。

其中最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，MapReduce为海量的数据提供了计算。

在这里插入图片描述

hadoop应用场景：
在线旅游、移动数据、电子商务、能源开采与节能、基础架构管理、图像处理、诈骗检测、IT安全、医疗保健等等

在这里插入图片描述
在这里插入图片描述
HDFS属于Master与Slave结构。一个集群中只有一个NameNode，可以有多个DataNode。
在这里插入图片描述
HDFS存储机制保存了多个副本，当写入1T文件时，我们需要3T的存储，3T的网络流量带宽；系统提供容错机制，副本丢失或宕机可自动恢复，保证系统高可用性。
在这里插入图片描述
HDFS默认会将文件分割成block。然后将block按键值对存储在HDFS上，并将键值对的映射存到内存中。如果小文件太多，会导致内存的负担很重。

HDFS采用的是一次写入多次读取的文件访问模型。一个文件经过创建、写入和关闭之后就不需要改变。这一假设简化了数据一致性问题，并且使高吞吐量的数据访问成为可能。

1.2、Hadoop工作原理

HDFS工作机制（HDFS漫画点击查看）：
客户端向NN请求写数据，NN向客户端返回DN列表，客户端决定以多大的block size切分文件、决定一个block几个副本，接着客户端以数据流的方式发送副本到DN上，除了副本还会发送DN列表给DN，DN一边接收副本一边根据DN列表自动同步副本到其他DN上，当所有副本同步完成后，DN会返回信息给NN：
（1）客户端和DN在同一个节点：第一个副本存放在本机，第二个副本存放在与第一个副本不同的机架中，第三个副本与第二个副本在同一机架内但在不同DN上,，其他后续副本随机（ppt-18）
（2）客户端和DN不在同一个节点：第一个副本随机存放，（其余相同）第二个副本存放在与第一个副本不同的机架中，第三个副本与第二个副本在同一机架内但在不同DN上,，其他后续副本随机
在这里插入图片描述
HDFS存储理念是以最少的钱买最烂的机器并实现最安全、难度高的分布式文件系统（高容错性低成本），HDFS认为机器故障是种常态，所以在设计时充分考虑到单个机器故障，单个磁盘故障，单个文件丢失等情况。

HDFS容错机制：
节点失败监测机制：DN每隔3秒向NN发送心跳信号，10分钟收不到，认为DN宕机。
通信故障监测机制：只要发送了数据，接收方就会返回确认码。
数据错误监测机制：在传输数据时，同时会发送总和校验码。
在这里插入图片描述

二、Hadoop工作模式

2.1、hadoop部署

在真实主机创建两台新的虚拟机server1、server2，先开启一个虚拟机server1（2G内存）
在这里插入图片描述
真实主机下载hadoop官方套件，需要jdk环境，发送给server1在这里插入图片描述
创建hadoop用户，切换到这一普通用户运行，不建议使用超级用户身份
在这里插入图片描述
使用源码安装（不用rpm包安装）
在这里插入图片描述
创建软连接方便后续更新升级，进入/home/hadoop/hadoop/etc/hadoop目录下，编辑hadoop-env.sh脚本文件
在这里插入图片描述
配置环境变量
在这里插入图片描述
复制/etc/hadoop/*.xml至刚创建的input文件夹内
在这里插入图片描述
配置在非分布式模式下作为jar运行，查找并显示匹配正则表达式的内容。 将输出写入到 output目录，output目录会自动创建
在这里插入图片描述
output被创建，查看其内容
在这里插入图片描述

2.2、伪分布式

编辑/home/hadoop/hadoop/etc/hadoop目录下的hdfs-site.xml文件，以伪分布式模式在单节点上运行，每个 Hadoop 守护进程作为单独的 Java 进程运行。
在这里插入图片描述
副本数设置为1
在这里插入图片描述
再编辑core-site.xml文件，指定hdfs的NN的ip，由于是伪分布式，所以主从都在一起，填写本机9000端口
在这里插入图片描述
查看workers，也是自己
在这里插入图片描述
切换到root用户，给hadoop用户加密码，再切换回hadoop用户，做免密，先生成密钥
在这里插入图片描述
将密钥复制给localhost
在这里插入图片描述
测试免密登录，初始化文件系统
在这里插入图片描述
初始化完成后，数据都存放在/tmp。启动NN和DN
在这里插入图片描述
在这里插入图片描述
jps显示当前开启的java进程，使用此命令需要将jps命令添加到环境变量
在这里插入图片描述
编辑.bash_profile添加java环境变量
在这里插入图片描述
重新读取环境变量，再次使用jps命令，可以看到启动的进程，secondnode表示当master的NN down掉后由它来接管
在这里插入图片描述
浏览器访问server1的9870端口进入hadoop页面
9870是hadoop默认的监听端口，9000是Namenode和Datanode的连接端口
在这里插入图片描述
server1输入bin/hdfs dfsadmin -report通过命令行查看文件系统
在这里插入图片描述
文件系统信息如图
在这里插入图片描述
创建用户主目录，注意用户要一致，查看上传目录没有文件，上传input目录
在这里插入图片描述
命令行查看上传目录，可以看到input目录
在这里插入图片描述
也可以通过浏览器图形化界面界面查看文件系统
在这里插入图片描述
输入用户主目录点击Go，可以看到目录内容
在这里插入图片描述
点击打开input目录可以看到包含的所有文件
在这里插入图片描述
此时bin命令进行统计，input不是本地的，以单词数统计input目录内容将结果输出到output
在这里插入图片描述
本地删除output目录，再查看还是可以看到该目录及其内容，因为已经上传到了分布式中
在这里插入图片描述
在hadoop页面中可以看到该目录
在这里插入图片描述
点击进入output目录，查看其包含的内容
在这里插入图片描述
server1本地在分布式中下载output目录，然后切换到该目录查看其内容，正常
在这里插入图片描述

2.3、完全分布式

真实主机再开启虚拟机server3
在这里插入图片描述
虚拟机都正常运行，server2和server3作为DN，完全分布式部署需要将DN和NN分开，NameNode-master只保留源数据，不存储数据
在这里插入图片描述
server1编辑hdfs-site.xml,将副本数量改为2
在这里插入图片描述
再编辑core-site.xml文件，将本机地址设置为master节点
在这里插入图片描述
再编辑workers，指定server3和server4是数据节点
在这里插入图片描述
server1安装nfs-utils文件系统
在这里插入图片描述
安装完成后，查看hadoop用户uid为1000，gid为1000，共享/home/hadoop目录，赋予读写权限，匿名用户uid和gid与master节点的hadoop用户一致，重启nfs服务
在这里插入图片描述
server2和server3添加hadoop用户，安装nfs文件系统
在这里插入图片描述
在这里插入图片描述
server2挂载nfs中server1分享的/home/hadoop目录到本地的/home/hadoop目录，然后切换到hadoop用户
在这里插入图片描述
server3也做同样的操作
在这里插入图片描述
server1切换到hadoop用户，进入hadoop目录下，将之前的伪分布式部署停止，重新格式化
在这里插入图片描述
重新格式化文件系统后数据会清除
在这里插入图片描述
server1测试与server2和server3的ssh免密连接，成功连接
在这里插入图片描述
server2和server3也分别与其他两个节点测试免密连接，也成功了，因为使用nfs文件系统，挂载目录下的数据都是同步的。
在这里插入图片描述
在这里插入图片描述
server1开启nfs，使用jps查看java进程，可以看到作为NN节点运行
在这里插入图片描述
server2和server3查看java进程，可以看到作为DN节点在运行
在这里插入图片描述
在这里插入图片描述
浏览器访问hadoop图形化页面，点击查看DN节点信息，可以看到server2和server3正常显示
在这里插入图片描述
因为重新格式化文件系统，之前数据都被清除
在这里插入图片描述
server1在dfs创建虚拟目录/user/hadoop，将input目录上传至文件系统，以单词数统计input目录内容将结果输出到output
在这里插入图片描述
在web页面中此时可以看到刚才上传的两目录
在这里插入图片描述
点击进入input目录，可以正常查看目录内容
在这里插入图片描述
进入output目录，内容正常显示
在这里插入图片描述
我们可以进行如下操作来再添加一个DN节点

真实主机再开启一台虚拟机server4
在这里插入图片描述
server4安装nfs
在这里插入图片描述
server2创建用户hadoop，挂载nfs中server1分享的/home/hadoop目录到本地的/home/hadoop目录，然后切换到hadoop用户进行测试
在这里插入图片描述
server4进入到/etc/hadoop/目录下，编辑workers，将自己添加进工作节点
在这里插入图片描述
server4返回到上上级目录，运行DN节点进程
在这里插入图片描述
现在hadoop页面上可以看到server4加入到工作节点
在这里插入图片描述

三、资源管理器YARN

RM:resourcemanager工作原理：
客户端向RM（ResourceManager）申请，RM上有一个任务队列，RM向客户端返回app所需资源路径，接着客户端向RM申请运行AM，AM在NM上运行，AM向RM继续申请资源，RM会把job分布式地分给NM运行，一旦所有job运行完成，AM注销并释放容器（逻辑层面）资源
在这里插入图片描述
server1编辑etc/hadoop/mapred-site.xml文件，添加mapreduce模块，$HADOOP_MAPERD_HOME变量稍后会在环境变量中定义
在这里插入图片描述
再编辑yarn-site.xml文件，添加nodemanager模块
在这里插入图片描述
再编辑hadoop-env.sh环境变量文件，定义HADOOP_MAPERD_HOME变量
在这里插入图片描述
依次将三个文件配置完毕：使用YARN、白名单列表、定义变量
在这里插入图片描述
server1开启yarn，jps查看java进程，可以看到ResourceManager运行
在这里插入图片描述
DN节点server2、server3和server4查看java进程，可以看到NodeManager正在运行在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
浏览器访问server1的8088端口可以查看资源管理页面
在这里插入图片描述

是大姚呀
关注
  • 1
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Linux运维-运维课程MP4频-06-大数据之Hadoop部署-24yarn工作原理.mp4
06-06
Linux运维-运维课程MP4频-06-大数据之Hadoop部署-24yarn工作原理.mp4
大数据平台运维（hadoop入门（保姆篇））----概述及基本环境配置(HA-1)
weixin_62875153的博客
12-04 2704
大数据运维基础
进击大数据系列（十六）Hadoop 性能优化与运维
最新发布
民工哥的博客
06-27 645
点击下方名片，设为星标！回复“1024”获取2TB学习资源！前面介绍了 Hadoop数据库 Hbase、任务调度器 Oozie、数据同步工具 Sqoop、分布式日志采集系统 Flume、数据分析引擎 Apache Pig、图形化管理系统 Hue 等相关的知识点，今天我将详细的为大家介绍 大数据 Hadoop 性能优化与运维 相关知识，希望大家能够从中收获多多！如有帮助，请点在看、转发支持一波！...
自动化运维之hadoop——大数据平台
Zhaohui_Zhang的博客
04-02 3693
目录 一、hadoop的下载及安装 二、hadoop的使用模式 1、本地(独立)模式——Standalone Operation 2、伪分布模式——Pseudo-Distributed Operation 官方网站： Apache Hadoophttps://hadoop.apache.org/ 一、hadoop的下载及安装 下载网站： Apache DownloadsHome page of The Apache Software Foundationhttps://www.a
Linux企业运维篇——Hadoop的三种运行模式（单机模式，伪分布式模式，全分布式集群模式）
weixin_44321116的博客
05-22 964
Hadoop技术原理： Hdfs主要模块：NameNode、DataNode Yarn主要模块：ResourceManager、NodeManager HDFS主要模块及运行原理： 1）NameNode： 功能：是整个文件系统的管理节点。维护整个文件系统的文件目录树，文件/目录的元数据和 每个文件对应的数据块列表。接收用户的请求。 2）DataNode： 功能：是HA（高可用性）的一个解决方案，是...
hadoop独立模式
weixin_30716725的博客
06-06 157
参考博客：http://my.oschina.net/winHerson/blog/121963 eclipse远程调试：http://zhangjie.me/eclipse-debug-hadoop/ 百度文档：http://wenku.baidu.com/link?url=13x1F92KXZt4Q2iLKfsu-kgRq64Nx-bKNM2eMV7wnxss2Rd1Al7XXRuDiEE...
Linux运维-运维课程MP4频-06-大数据之Hadoop部署-23yarn介绍.mp4
06-06
Linux运维-运维课程MP4频-06-大数据之Hadoop部署-23yarn介绍.mp4
Linux运维-运维课程MP4频-06-大数据之Hadoop部署-25yarn应用及测试.mp4
06-06
Linux运维-运维课程MP4频-06-大数据之Hadoop部署-25yarn应用及测试.mp4
大数据运维技术第5章 Hadoop集群运行课件.pptx
06-22
Hadoop运行状态;;5.1 Hadoop运行状态;Hadoop运行状态;Hadoop运行状态;Hadoop运行状态;Hadoop运行状态;5.2 配置Hadoop格式化;;5.3 查看JAVA进程;查看JAVA进程;查看JAVA进程;查看JAVA进程;5.4 查看HDFS的报告;查看HDFS...
Cloudera Hadoop 5&Hadoop高阶管理及调优课程
06-06
1、Hadoop2.0高阶运维，包括Hadoop节点增加删除、HDFS和YARN的HA实现， HDFS Federation实现等 2、搭建本地Yum部署CDH5的重要组件和优化配置 3、Impala、Oozie和Hue的部署、使用操作及调优 4、Hadoop安全认证及授权...
hadoop部署与集群运维
02-02
里面讲了一些hadoo是如何部署与运维的知识点，希望对初学者有所帮助！
hadoop 群集部署与运维实践
04-23
node1与node2主机角色分配：NameNode、DFSZKFailoverController；需要安装软件有：JDK、Hadoop2.7.1 nod3主机角色分配：ResourceManager；需要安装软件有：JDK、Hadoop2.7.1 node4、node5、node6主机角色分配：JournalNode、DataNode、NodeManager、QuorumPeerMain；需要安装软件有：JDK、Hadoop2.7.1、zookeeper3.4.6
Hadoop运维杂记
07-16
Apache 推了一个Hadoop,这是一个开源的、免费的东东；每个人、每个公司都可以拿来修改，发布。在众多公司中做的比较好（用的也比较广泛）是Cloudera。所以它发布的Hadoop叫CDH。本文档以CDH为基础，讲述了系统搭建、运维方面的一些经验。它不是一个详细指导安装的文档、是一个杂记。
hadoop性能调优与运维
07-30
Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求，可以以流的形式访问（streaming access）文件系统中的数据。
hadoop运维
Linus_zyx的博客
06-10 404
hadoop完全分布式集群部署
Hadoop之常用端口号
m0_67402588的博客
08-29 1108
HDFS NameNode 对用户的查询端口：9870，经常查看目录信息，如下图，刚刚上传了两个lzo文件。
【大数据平台技术（一）】—— Hadoop平台的搭建与维护
酱懵静的博客
09-18 1482
声明：关于大数据平台技术的相关操作均建立在Linux系统之上的，因此在进行下面的操作前，最好是具备着一定的关于Linux的基本知识（如shell指令、挂载操作等）。对于Linux，建议选用ubuntukylin-16.04-desktop-amd64的镜像文件，这在ubuntu官网能够下载。 一、Java环境的安装与配置 首先在Linux系统中打开终端，然后输入以下指令： sudo apt-...
【大数据开发运维解决方案】Hadoop2.7.6+Spark2.4.4+Scala2.11.12+Hudi0.5.2单机伪分布式安装
赵延东的一亩三分地
03-31 17万+
一、安装spark依赖的Scala 因为其他版本的Spark都是基于2.11.版本,只有2.4.2版本的才使用Scala2.12. 版本进行开发，hudi官方用的是spark2.4.4，所以这里我们下载scala2.11.12。 1.1 下载和解压缩Scala 下载地址： 点击进入 下载linux版本： 在Linux服务器的opt目录下新建一个名为scala的文件夹，并将下载的压缩包上载上去： ...
【大数据开发运维解决方案】Hadoop+Hive+HBase+Kylin 伪分布式安装指南
热门推荐
赵延东的一亩三分地
03-15 17万+
Kylin安装学习-Hadoop+Mysql+Hive+Hbase+Kylin伪分布式安装 最近学习Kylin，肯定需要一个已经安装好的环境，Kylin 依赖于 Hadoop 集群处理大量的数据集。您需要准备一个配置好 HDFS，YARN，MapReduce,，Hive， HBase，Zookeeper 和其他服务的 Hadoop 集群供 Kylin 运行。 Kylin 可以在 Hadoop 集群...
Hadoop基础平台运维的课程小结和课程感想
04-04
课程小结： 本课程主要介绍了Hadoop基础平台的运维知识，包括Hadoop集群的搭建、配置、监控、故障处理等方面。通过学习本课程，我收获了以下几点： 1. 掌握了Hadoop集群的搭建和配置方法，包括HDFS、MapReduce、YARN等组件的配置和参数调优。 2. 学会了如何使用常用的Hadoop工具，如Hadoop Shell、Hadoop Streaming、Sqoop、Hive、Pig等。 3. 了解了Hadoop集群的监控和故障处理方法，包括使用Nagios、Ganglia等工具进行监控，以及如何识别和解决常见的故障问题。 4. 学会了如何进行Hadoop集群的备份和恢复，以及如何进行数据迁移和数据安全方面的操作。 课程感想： 本课程对于我来说是一次很好的学习机会，通过学习，我不仅掌握了Hadoop基础平台的运维知识，还学会了如何使用Hadoop相关工具进行数据处理和分析。同时，本课程还帮助我加深了对分布式系统的认识和了解，对我的职业发展也有很大的帮助。在学习过程中，我遇到了一些困难和挑战，但通过老师和同学的帮助，我成功地克服了这些问题，并取得了很好的成绩。总的来说，这是一门非常有价值的课程，我会继续努力学习和实践，不断提升自己的技能和能力。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值