大数据：分布式资源调度框架YARN，核心架构，主从结构，辅助结构，yarn和MapReduce部署与配置，蒙特卡罗法求圆周率PI

最新推荐文章于 2024-07-24 11:00:00 发布
最新推荐文章于 2024-07-24 11:00:00 发布
阅读量610 收藏
点赞数
分类专栏： 数据挖掘 文章标签： 大数据 hadoop yarn 蒙特卡罗法求pi mapreduce
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_46838716/article/details/130984436
版权
文章介绍了大数据领域的YARN框架，包括其核心架构、主从结构和辅助结构，以及如何部署和配置MapReduce与YARN。同时提到了在当前就业环境下，掌握数据库知识如Oracle和SQL的重要性，特别是对于寻求网络警察公务员职位的考生。此外，还讲解了使用蒙特卡罗算法求解圆周率PI的数据挖掘示例。
摘要由CSDN通过智能技术生成

大数据：分布式资源调度框架YARN，核心架构，主从结构，辅助结构，yarn和MapReduce部署与配置，蒙特卡罗法求圆周率PI

2022找工作是学历、能力和运气的超强结合体，遇到寒冬，大厂不招人，可能很多算法学生都得去找开发，测开
测开的话，你就得学数据库，sql，oracle，尤其sql要学，当然，像很多金融企业、安全机构啥的，他们必须要用oracle数据库
这oracle比sql安全，强大多了，所以你需要学习，最重要的，你要是考网络警察公务员，这玩意你不会就别去报名了，耽误时间！
与此同时，既然要考网警之数据分析应用岗，那必然要考数据挖掘基础知识，今天开始咱们就对数据挖掘方面的东西好生讲讲 最最最重要的就是大数据，什么行测和面试都是小问题，最难最最重要的就是大数据技术相关的知识笔试

文章目录

大数据：分布式资源调度框架YARN

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
yarn管理资源和调度
在调度过程中可以实现MapReduce

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
学校几万人，有教室就可以管了
调度就好办了
有效运行
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
集群中最好
在这里插入图片描述
集群大管家

在这里插入图片描述
分配资源，分散计算，汇总都靠yarn监管，分配

在这里插入图片描述
申请
在这里插入图片描述
yarn可以调度资源
剩下的别人用
在这里插入图片描述
三大组件，基本就OK了

存储，计算，资源调度。

yarn的架构，核心架构和辅助架构

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
一个存储，一个资源调度
各是各的
在这里插入图片描述
跟工厂一样
总的董事长resourcemanager

各个厂长nodemanager

在这里插入图片描述
懂事长总体安排
剩下的厂长各自安排即可

客户只需要问resourcemanager要资源即可
在这里插入图片描述
在这里插入图片描述
container容器
在这里插入图片描述
集装箱，一个个箱子
在这里插入图片描述去找集装箱就行
你不能多装
只能装这么多
RM关了一堆NM
在这里插入图片描述
还是主从管理结构
老大管整体
老二管单机

yarn的辅助架构

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
辅助提高安全性
在这里插入图片描述
给yarn提供安全保障就行

历史，记录
在这里插入图片描述
感觉就是辅助干活
在这里插入图片描述

隔离资源
在这里插入图片描述
在这里插入图片描述
干脆整一个统一记录日志的服务器
美滋滋
在这里插入图片描述
在这里插入图片描述
统一收集日志
美滋滋
舒服

这就是辅助架构
在这里插入图片描述
主从角色
辅助角色
在这里插入图片描述

MapReduce和yarn部署

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
部署，就是要启动主从辅助节点

MapReduce运行在yarn上的
不需要启动进程，只需要修改配置哦

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
为啥给node1上配置那么多内存
它承担的东西很多

在这里插入图片描述
各种配置MapReduce即可
在这里插入图片描述
yarn也要配置各种环境
在这里插入图片描述
配置resourcemanager和nodemanager
本地日志
历史服务器端口日志
代理服务器，安全
在这里插入图片描述
三台服务器都这样玩
在这里插入图片描述
hdfs那边也是这么玩的
yarn也是这么玩
–daemon

mapred是历史服务器的启动
骚
在这里插入图片描述
在这里插入图片描述

hdfs是9870端口
8088是yarn集群的监控界面
在这里插入图片描述
init 0关机
在这里插入图片描述
MapReduce不需要单独启动进程哦

MapReduce和yarn初体验

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
主从，辅助中的代理服务器
历史服务器需要单独启动
在这里插入图片描述
在这里插入图片描述

提交MapReduce任务去yarn执行

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
hive用的就是MapReduce

不需要写代码
spark和flink需要写代码
性能快
在这里插入图片描述
在这里插入图片描述
jar代表运行程序
程序代码在jar中
java类是我们要用程序中的wordcount类
输入文件
输出结果要不存在wc文件夹

在这里插入图片描述
在这里插入图片描述
结果
美滋滋

在这里插入图片描述
工作历史服务器
记录历史

在这里插入图片描述
map个数
样本数量
在这里插入图片描述
求pi
在这里插入图片描述

蒙特卡洛算法求pi

在这里插入图片描述
圆周率是一个比例，算的就是整个正方形的面积，乘比例
牛逼 了
在这里插入图片描述
在半圆内就是距离小于1就是内部
落到半圆内的点个数统计一波
就是圆周率/4

最后easy求出来了pi

总结

提示：重要经验：

1）
2）学好oracle，即使经济寒冬，整个测开offer绝对不是问题！同时也是你考公网络警察的必经之路。
3）笔试求AC，可以不考虑空间复杂度，但是面试既要考虑时间复杂度最优，也要考虑空间复杂度最优。

冰露可乐
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
2021年 全网最细大数据学习笔记（三）：Hadoop 集群的搭建与配置
Amo Xiang的博客
04-09 5475
文章目录一、学前必备知识二、使用 Ubuntu 20.04.2.0 进行 Hadoop 集群的搭建与配置1、Hadoop 集群详解2、搭建集群前的准备工作3、配置 Hadoop 集群4、启动并关闭 Hadoop 集群5、查看 Hadoop 集群的基本信息6、在 Hadoop 集群中运行程序三、使用 Centos7 进行 Hadoop 集群的搭建与配置 一、学前必备知识 2021年 全网最细大数据学习笔记（一）：初识 Hadoop 2021年 全网最细大数据学习笔记（二）：Hadoop 伪分布式安装 二、
大数据之Hadoop（三）：资源调度框架 YARN的背景、架构、执行流程、环境搭建
汪雯琦的博客
03-13 458
文章目录YARN&MapReduce资源调度框架 YARN3.1.1 什么是YARN资源调度框架 YARN3.1.1 什么是YARN3.1.2 YARN产生背景3.1.3 YARN的架构和执行流程3.1.5 YARN环境搭建 YARN&MapReduce 课程目标： 了解YARN概念和产生背景 了解MapReduce概念 说出YARN执行流程 说出MapReduce原理 独立完成...
大数据——分布式资源调度框架YARN
蜂蜜柚子加苦茶
09-15 425
分布式资源调度框架YARNYARN的前世今生YARN概述YARN的基本架构和核心组件YARN的架构YARN核心组件（包含ResourceManager和NodeManager）ResourceManagerNodeManagerApplicationMasterContainerYARN的工作机制YARN上提交MapReduce程序（1）启动JobHistoryServerYARN上提交MapReduce程序YARN的资源调度器YARN常用命令 YARN的前世今生 Hadoop1.x版本中最大的问题是资源问
【分布式系统】 单机架构 | 分布式架构 | 集群 | 主从架构 | 分库分表 | 冷热分离 | 微服务
最新发布
WengJM的博客
07-24 1177
如果同一时刻，收到大量请求，就会导致某项资源不够用，导致服务器处理请求的时间变长，甚至出错。​ 引入多个主机/服务器，协同配合来完成一系列的工作（逻辑上的多个主机，一个主机上部署了多个服务器程序。用户的请求，先访问负载均衡器 / 网关服务器(单独的服务器)，由负载均衡器（根据算法）来对请求进行分发。​ 引入分布式系统，是为了应对更高的请求量（并发量）的同时，也能应对更大的数据量。当集群中的某个主机挂了，其他的主机仍任可以承担服务，从而提高系统的可用性。​ 衡量服务器的性能，处理一次请求，要消耗多长时间。
Oozie——大数据任务调度框架
qq_43536701的博客
02-26 819
Oozie简介 Oozie是大数据四大协作框架之一——任务调度框架，另外三个分别为数据转换工具Sqoop,文件收集库框架Flume,大数据WEB工具Hue。 它能够提供对Hadoop MapReduce和Pig Jobs的任务调度与协调。 Oozie需要部署到Java Servlet容器中运行。 功能相似的任务调度框架还有Azkaban和Zeus。 Oozie三大功能模块 从图中不难看出，Oozie主要有三大功能模块构成： workflow(工作流)：定义job任务执行。 Coordinator：定时触发
大数据快速入门（06）：秒懂资源调度框架 YARN
天道酬勤
10-15 604
一、第一代资源管理器为什么会被淘汰掉 我们知道，hadoop 主要是由三部分组成，HDFS （hadoop 分布式文件系统），MapReduce（分布式计算框架），还有一个就是分布式集群资源调度框架 YARN。 但是 YARN 并不是随 HADOOP 的推出一开始就有的。 YARN 是在 Mapreduce 基础上演化而来的，它克服了 MapReduce 架构中的各种局限性，主要可概括为以下几个方面： 可靠性差 MRv1采用了master/slave结构，其中，master存在单点故障问题，一旦它出现故障将
OPPO 大数据计算集群资源调度架构演进
过往记忆大数据
11-09 946
1 背景随着公司这两年业务的迅速扩增，业务数据量和数据处理需求也是呈几何式增长，这对底层的存储和计算等基础设施建设提出了较高的要求。本文围绕计算集群资源使用和资源调度展开，将带大家了解集群...
3.1 Hadoop MapReduce与Hadoop YARN -Hadoop MapReduce
qq_40947195的博客
05-08 767
文章目录Hadoop MapReduce一、理解MapReduce思想二、Hadoop MapReduce设计构思（1）如何对付大数据处理场景（2）构建抽象编程模型（3）统一架构、隐藏底层细节三、Hadoop MapReduce介绍分布式计算概念MapReduce介绍MapReduce产生背景MapReduce特点MapReduce局限性MapReduce实例进程阶段组成MapReduce数据类型四、1Hadoop MapReduce官方示例概述示例说明案例：评估圆周率π（PI）的值案例：wordcount
JAVA大数据(一)简介-Hadoop环境配置，伪分布式模式架构学习用
m0_58818478的博客
01-11 398
1.课前资料 2.课程整体介绍 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-mH0U4e1A-1641888708908)(day01_hadoop.assets/1628589606864.png)] 3.大数据介绍 什么是大数据？ 简单来说大数据就是海量数据及其处理。 大数据（big data），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合， 是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产（资源）。
Linux虚拟机（Centos）安装及配置分布式Hadoop安装部署使用
sinat_30609573的博客
07-29 752
目录 一、 虚拟机节点的搭建与配置. 4 2.1主节点的搭建和配置. 4 2.1.1准备工作. 4 2.1.2主节点虚拟机基本配置. 4 2.1.3安装CentOS6.5虚拟机. 4 2.1.4主节点虚拟机网络配置. 5 2.1.5安装Java和Hadoop 7 2.2从节点的搭建与配置. 8 2.2.1准备工作. 8 2.2.2从节点网络配置. 8 二、 Hadoop主、从节点的配置. 10 3.1修改hosts文件，将名称和IP建立联系(图9) 10 3.2设置...
【Yarn】基本使用与监控
pengpengsays
08-27 856
基本使用与监控 基本使用 Yarn是一个资源管理框架，所以它可以对提交到集群中的任务进行查看，并可以强制结束这些任务。 它常用的Shell命令有： yarn application [command_options] 一般使用流程，是先用list查看集群中未完成的所有任务以及它的ID，如果想查看任务详细信息则使用status，如果想强制终止任务则使用kill。 # 查看Yarn中未完成的所有任务 yarn application -list # 查看某个任务的运行状态 yarn applicatio
分布式资源调度——YARN框架
03-01
本文来自于51cto，ApacheHadoopYARN（YetAnotherResourceNegotiator，另一种资源协调者）是一种新的Hadoop资源管理器，它是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度.YARN是Hadoop2.x才有的，所以在介绍YARN之前，我们先看一下MapReduce1.x时所存在的问题：单点故障节点压力大不易扩展MapReduce1.x时的架构如下：分布式资源调度——YARN框架可以看到，1.x时也是Master/Slave这种主从结构，在集群上的表现就是一个JobTracker带多个TaskTracker。JobTracker：负责资源管
EasyScheduler大数据调度系统架构分析
北京易观智库网络科技有限公司的博客
12-21 3256
EasyScheduler大数据调度系统架构分析 原创： 乔占卫 Analysys易观    导读 EasyScheduler是易观平台自主研发的大数据分布式调度系统。主要解决数据研发ETL错综复杂的依赖关系，而不能直观监控任务健康状态等问题。EasyScheduler以DAG流式的方式将Task组装起来，可实时监控任务的运行状态，同时支持重试、从指定节点恢复失败、暂停及Kill任务等操作...
大数据学习——资源调度框架 YARN
DuBenBen的博客
04-15 466
资源调度框架 YARN 1 什么是YARN Yet Another Resource Negotiator, 另一种资源协调者 通用资源管理系统 为上层应用提供统一的资源管理和调度，为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处 2 YARN产生背景 通用资源管理系统 Hadoop数据分布式存储（数据分块，冗余存储） 当多...
分布式资源调度框架YARN
子清的博客
09-15 351
文章目录1.YARN的前世今生2.YARN概述3.YARN的基本架构核心组件3.1ResouceManager3.2NodeManager3.3ApplicationMaster3.4Container4. YARN的工作机制5.启动JobHistoryServer6.YARN的资源调度器7.YARN常用命令 1.YARN的前世今生 Hadoop1.x版本中最大的问题是资源问题 对数据的处理和资源调度主要依赖MapReduce完成，只能运行MapReduce程序 JobTracker负责资源管理和程序调
【任务调度系统第一篇】：大数据任务调度框架
hxcaifly的博客
12-01 7308
1.前言 任务调度系统在大数据平台架构中扮演着比较重要的角色。下图是引自网易的猛犸大数据平台lambda架构图。 其中的Azkaban就是其任务调度组件。概括来说，任务调度在大数据平台中所扮演的角色主要有： 任务编排：对任务流按照一定的逻辑串起来。这在大数据开发中，显得比较重要，对于一个工作任务，可能有不同的子任务串起来的，并且有些子任务是并行执行的。举个例子，在做一个机器学习的模型时，可能...
YARN（资源调度框架）
longshuo1995的博客
05-10 324
大数据资源调度框架有什么作用？
Shockang的博客
04-22 1万+
写在前面 本文隶属于专栏《100个问题搞定大数据理论体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！ 本专栏目录结构和文献引用请见100个问题搞定大数据理论体系 解答 1.子系统高效调度 任务之间资源隔离，减少争抢。 任务分配调度时结合资源分配，各个任务分配合理的资源，充分利用系统资源，减少资源利用不充分的问题。 资源调度结合优先级，优先级高的可以分配更多的资源。 2.提高全系统的资源利用率 各个子系统存在不同时期对资源需求不一样的情况，平滑系统资源的利用。 3.支
大数据Hadoop集群中常用的任务调度框架
热门推荐
wyz0516071128的博客
07-27 1万+
在大数据的集群环境中，经常用到的任务调度框架有如下几个，根据公司的业务的需要选择适合自己的业务调度的框架， 调度框架anzkaban,crontab（Linux自带）、zeus(Alibaba)、Oozie(cloudera)，下面将分别介绍各个调度框架 使用任务调度工具功能：         时间调度：基于时间条件触发程序运行         依赖调度：基于其他程序的执行结果进行调度执行  ...
YARN架构升级：解决资源调度问题与多框架集成
YARN的核心目标是提高系统资源利用率，降低运维成本，并支持多种计算框架的部署和协同工作。 1. YARN产生背景： - MapReduce 1.0存在的问题：由于其架构限制，MapReduce 1.0在扩展性上存在瓶颈，JobTracker作为...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

冰露可乐

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值