初识MR 初识YARN 初识ZooKeeper

最新推荐文章于 2024-07-13 13:38:50 发布
最新推荐文章于 2024-07-13 13:38:50 发布
阅读量238 收藏
点赞数
分类专栏： hadoop集群生态的搭建 文章标签： 分布式 大数据 hadoop java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45970497/article/details/116101455
版权

学习目标：

  1. 初识MR
  2. 初识YARN
  3. 初识ZooKeeper

学习内容：

MR(MapReduce)

  • 什么是MR

      一个并行计算框架，将一个大文件拆分成一个个小任务，使执行更加效率。适合于大数据计算

  • MR的执行过程

         a. 当用户输入计算任务时，MR会将任务分成一个个小的任务块，(一般情况下map所处理的文件都在HDFS本地，原因是为了减少网络间的传送)
     b.将每个任务块分给不同的map任务，开始运行Map   进行一次次的迭代，每迭代一次，创建一个key/value对(一行一行的读取数据，默认情况下以行号为 Key，以行内容为 value)
 	 c. 当Map执行完,而后由内置的shuffle机制，以key为值，进行一次归并操作，创建一个新的 key/values 对
 	 d 当shuffle执行而后交给 Reduce进行归并排序操作,最终可以通过迭代操作，实现 key/value的持久化操作

  • 大数据排序：MR中三个阶段可进行排序

     a. Map阶段：局部排序，只是排本块中的数据
 b. Reduce阶段：有局限性，只能在Reduce并发度为 1 的情况下进行全局排序
 c. shuffle阶段：推荐，默认进行hash排序

  • 自定义排序规则，需要实现 WritableComparable接口 和Java中 排序规则类似,注意，需要在自定义类里实现 hashCode() 和 equals（）方法

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

  • 自定义分区阶段

     a.通过设置分区规则，让数据有规律的分成想要分成的几个部分，需要与Reduce的并发度配合    
 b.默认分区规则按照HashPartitioner进行
 c.自定义分区规则需要实现 Partitioner接口，返回值为整数，通常有几个返回值，确定几个分区

在这里插入图片描述
在这里插入图片描述

  • Combiner

      又称 本地Reduce,当Map分区过多时，可以先进行一次本地 reduce，减少本地的map个数，降低网络拥堵（可以应用于求最大值的应用）

在这里插入图片描述

YARN

  • 什么是YARN

     YARN:提供了一套通用的大数据作业的执行平台，可兼容第三方的计算框架，如 spark等

  • YARN的工作原理

     YARN总体上采用了 主从结构，其中，主节点被称为 ResouceManger,从节点采用
 了nodeManager，ResourceManager为NodeManager进行资源的分配和调度，当
 客户端提交了计算任务后，ResourceManager会从NodeManager会选中一定数量的
 NodeManager，并从其中选出一个ApplicationMaster,它负责向ResourceManger
 申请资源，并管理该计算任务中的其他NodeManager，直到计算任务结束，该	
 ApplicationManager将消失

  • 与YARN相关的配置文件

     启用YARN需要配置两份文件 yarn-site.xml  和 mapred-site.xm

ZooKeeper

  • 什么是ZooKeeper

    是一个分布式的，开放源码的分布式应用程序协调服务,最初设计是为了解决Hadoop的单点故障的，后来扩展了许多新应用

  • ZooKeeper/Redis的联系与区别

       Redis：分布式缓存（缓存：在自己的电脑内存里帮助别人存储数据）
   ZooKeeper：和Redis的功能类似，但最初的设计目标是为了协调Hadoop的masters之间的关系

  • ZooKeeper可解决一些常见问题

     a. 通用分布锁服务：解决分布式集群中的共享锁问题
 b. 统一命名服务
 c. 配置管理服务，项目中的配置信息
 d. 集群管理服务
 e. 支持队列管理

  • ZooKeeper基础架构

     a. 当集群中，存活的主机个数大于集群总数半数时，表示集群有效
 b. 为了提高效率，一般都会将集群数设置为奇数个

  • ZooKeeper特性：

     a. ZK的存储结构：树结构（类似于DOM树或者文件树结构），基本存储单位为node
 b. ZK集群中，保证同时只能有一个管理机存在（leader）
 c. 写数据时，如果超过一半的机器写入成功，leader则认定写入成功
 d. ZK数据实时同步，提供全局唯一数据视图，无论哪里写入，均保持读写一致
 e. 主机选举，基于3888端口，得票数多的即为新的leader

学习时间：

2021.4.19——2021.4.24

学习产出：

	求尿不湿与啤酒的关联度

data.txt内容：

	啤酒 香烟 尿不湿 
	苹果 辣条 方便面 
	啤酒 尿不湿 苹果
	辣条 方便面
	耳机 苹果
	苹果 方便面 脸盆 牙刷
	啤酒 香烟
	尿不湿 苹果 脸盆 牙刷
	辣条 方便面



package cn.nihuan004;

import java.io.IOException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

public class MRDriver004 {

	public static void main(String[] args) throws Exception {
		Path src = new Path("hdfs://nihuan001/date/data.txt");
		Path dst = new Path("hdfs://nihuan001/date/out");
		Configuration conf = new Configuration();
		FileSystem fSystem = FileSystem.get(conf);
		
		if(fSystem.exists(dst)) {
			fSystem.delete(dst, true);
		}
		Job job = Job.getInstance(conf, "啤酒与尿不湿");
		job.setJarByClass(cn.nihuan004.MRDriver004.class);
		job.setMapperClass(Map004.class);
		job.setReducerClass(Reduce004.class);
		job.setOutputKeyClass(Text.class);
		job.setOutputValueClass(Text.class);

		// TODO: specify input and output DIRECTORIES (not files)
		FileInputFormat.setInputPaths(job, src);
		FileOutputFormat.setOutputPath(job, dst);

		if (!job.waitForCompletion(true))
			return;
	}

}

class Map004 extends Mapper<LongWritable, Text , Text, Text>{

	@Override
	protected void map(LongWritable key, Text value,Context context)
			throws IOException, InterruptedException {
			String[] profucts = value.toString().split(" ");
			for(int i=0; i < profucts.length - 1; i++) {
				
				for(int j=1; j < profucts.length; j++) {
					
					if(!profucts[i].equals(profucts[j])) {
						
						context.write(new Text("商品序列为："+profucts[i]+ "<----->"+ profucts[j]), new Text("1"));
					}
				}
			}
	
	}
	
}

class Reduce004 extends Reducer<Text, Text, Text, Text>{

	@Override
	protected void reduce(Text okey, Iterable<Text> ovalue, Context context)
			throws IOException, InterruptedException {
		Integer count = 0;
		for (Text num : ovalue) {
			count++;
			
		}
		context.write(okey, new Text(count.toString()));
		
	}
	
	
	
}

输出结果：
在这里插入图片描述

A NIHUAN
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hadoop-2.8.1+Zookeeper-3.4.6(HDFS,YARN HA)部署指南
12-26
Hadoop-2.8.1+Zookeeper-3.4.6(HDFS,YARN HA)部署指南
初识Spark入门
08-25
初识Spark入门 Spark是一种基于内存的通用并行计算框架，目标是让数据分析更加快速。Spark包含了大数据领域常见的各种计算框架，包括spark core（离线计算）、spark sql（交互式查询）、spark streaming（实时计算...
zookeeper学习
weixin_41238665的博客
03-22 355
1.zookeeper简介 1.1什么是zookeeper 1.2 zookeeper应用场景 2.zookeeper的数据模型
集群管理yarn与zookeeper
csdn_wr的博客
09-14 388
其实咱们经常写代码，不咋用到这两个东西，只是会在配置信息写一下。 yarn 与 zookeeper的区别是啥 两者都是集群节点管理的软件，侧重点不同。 yarn更多的是集群的资源分配管理，集群的所有机器还有多少内存啊，存储啊，cpu啊等，通过yarn去协调各个应用程序的计算资源，保证服务器不因为资源的问题在某个时间点挂了，从而保证程序的稳定运行。 zookeeper更多的是集群数据的一致性，保证大家从集群看到的信息都是一样的，主要做一些配置管理，分布式锁啊等。 yarn 大数据是离不开yarn的，除了had
Yarn(分布式协作服务)和Zookeeper(分布式资源管理器)之间的关系
laolu1573的专栏
11-15 8876
分布式系统有很多问题 其中有两个 1. Coordination 2. Resource Management Zookeeper偏重解决的是前者 Yarn偏重解决的是后者。比如说现在有个事要办，我们要找这个系统办这个事，就要通知yarn。打个比方，yarn的masternode看看这个系统里有很多node，看看谁有空，谁有能力（cpu、内存、等）来干这个事。然后把任务分配给合适的node
用一个例子了解Yarn和Zookeeper之间是什么关系
jiayunfei521的博客
11-28 786
Zookeeper和Yarn是一起工作的，它们一起管理资源。 举例说明： 在一个分布式系统上。现在有个事要办。我们要找这个系统办这个事，就要通知yarn。打个比方，yarn的master node看看这个系统里有很多node，看看谁有空，谁有能力（cpu、内存、等）来干这个事。然后把任务分配给合适的node来办这个事。 这个时候系统面临一个危险。那就是在分布式系统中，failure成为常态。yar...
Yarn与ZooKeeper
shi_zi_183的博客
10-19 1648
Yarn与ZooKeeper Yarn是MapReduce引入的资源管理器，它的出现为集群在资源利用率、资源统一管理和数据共享等方面带来了巨大好处。ZooKeeper是一个分布式的、开源的协调服务框架，ZooKeeper出现就是为例减轻分布式应用实现协调服务的负担。 Yarn资源管理与调度 Yarn产生背景 在早期的Hadoop中，MRv1采用Master/Slave(M/S)框架，主要包括Client、JobTracker、TaskTracker和Task几个部分。其中JobTarcker负责整个系统的作
hadoop学习总结包含mr、yarn、hdfs
04-18
hadoop学习总结包含mr、yarn、hdfs
初识hadoop之hadoop 安装
04-14
【初识Hadoop之Hadoop安装】 Hadoop是Apache软件基金会的一个开源分布式计算框架，它设计用于处理和存储海量数据。Hadoop的核心组件包括HDFS（Hadoop Distributed File System）和MapReduce，前者负责数据的分布式...
Spark学习笔记（一）Spark初识【特性、组成、应用】
08-25
4. 兼容性：Spark 可以无缝对接Hadoop生态系统，如HDFS、Hive等，同时也支持YARN、Mesos和Kubernetes作为资源管理器，这意味着已投资Hadoop的企业无需迁移数据就能利用Spark。Spark Standalone模式则为独立部署提供...
YARN与Zookeeper区别及联系
热门推荐
Chain的博客
07-20 1万+
YARN和Zookpeer都是为了解决什么问题而产生的，应用场景分别是什么，如何结合使用等等问题，估计很多人和我以前一样，有着比较深的困惑，而这些困惑，也许你自己花那么一些时间去搭建目前流行的大数据系统，可能就豁然开朗了。或许，你可以看看网上别人怎么说，看看官网的架构图及其解释，再加上自己以往的经验，也能看到它们的本质，当然，如果要使用，很多坑在等你跳，记住，跳坑是必经之路，没有人能替你完成。 ...
【Redis运维篇】同一台机器上启动多个Redis实例
matrixZCL的博客
10-14 3220
启动多个Redis实例 如果不了解redis的基本配置，可以参考这篇文章Redis的基本配置 首先拷贝并修改redis配置文件 找到redis.conf所在目录，可通过find命令查找 find / -name redis.conf 进入该目录并拷贝一份redis.conf，并编辑 cp redis.conf redis2.conf vim redis2.conf 端口port，不要跟其他端口冲突，这里我改成6380 进程文件pidfile，redis启动时会自动分配进程号并写入文件，以下配置为了指定
Yarn和 Zookeeper之间是什么关系，都是管理节点，那他们的应用场景有何区别？
qq_26450889的博客
03-25 1744
Zookeeper和Yarn是一起工作的，它们一起管理资源。 举例说明。在一个分布式系统上。现在有个事要办。我们要找这个系统办这个事，就要通知yarn。打个比方，yarn的master node看看这个系统里有很多node，看看谁有空，谁有能力（cpu、内存、等）来干这个事。然后把任务分配给合适的node来办这个事。 这个时候系统面临一个危险。那就是在分布式系统中，failure成为常态。...
YARN基础+Yarn组件+Yarn架构和工作流程+Yarn三种调度器+MR流程+zookeeper
qq_43476430的博客
03-25 4413
一、YARN是什么 YARN负责Hadoop中得资源管理（包括cpu、内存、磁盘、网络IO等），以及调度运行在yarn上的任务。 二、YARN主要组件说明 YARN的主要组件：ResourceManager、NodeManager、ApplicationMaster和Container （1）ResourceManager（RM） 主要负责处理客户端请求对各NM上的资源进行统一调度和管理，给ApplicationMaster分配空闲的Container 运行并监控其运行状态。 主要由两个组件构.
一篇了解大数据架构及Hadoop生态圈
wsq的博客
05-13 700
阅读建议，有一定基础的阅读顺序为1,2,3,4节，没有基础的阅读顺序为2,3,4,1节。 第一节 集群规划 大数据集群规划（以CDH集群为例），参考链接： https://www.cloudera.com/documentation/enterprise/latest/topics/cm_ig_host_allocations.html https://blog.csdn.net/xuefenxi...
zookeeper解析系列文档
他叫Mr.J
07-27 393
http://www.cnblogs.com/wuxl360/category/874409.html
Lottery 分布式抽奖（个人向记录总结）
最新发布
weixin_44040169的博客
07-13 611
系统架构：以 DDD 领域驱动设计开发，微服务拆分的分布式系统架构 核心技术：SpringBoot、MyBatis、Dubbo、MQ、MySQL、XDB-Router、ES、ZK 项目描述：抽奖系统是营销平台的重要微服务之一，该系统围绕抽奖服务建设领域服务，包括规则引擎、抽奖策略、活动玩法、奖品发放等。
Memcached: 高性能的分布式内存缓存系统
UnityBoy的博客
07-13 191
在现代应用架构中，缓存是提升性能和扩展性的关键技术之一。Memcached是一个简单而高效的分布式内存缓存系统，广泛用于缓解数据库负载、提高响应速度。本文将探讨Memcached的基本概念、工作原理以及如何在应用中集成Memcached。
谷粒商城学习笔记-22-分布式组件-SpringCloud-OpenFeign测试远程调用
epitomizelu的专栏
07-09 1016
OpenFeign是一个声明式的 HTTP 客户端，它的目的就是让远程调用更加简单。Feign 提供了HTTP请求的模板，通过编写简单的接口和插入注解，就可以定义好 HTTP 请求的参数、格式、地址等信息。Feign 整合了 Ribbon（负载均衡）和 Hystrix(服务熔断)，可以让我们不再需要显式地使用这两个组件。
Zookeeper和yarn什么关系
04-01
Zookeeper和YARN都是Apache Hadoop生态系统中的两个重要组件。Zookeeper是一个分布式的协调服务，用于在Hadoop集群中管理和协调各种分布式应用程序。YARN（Yet Another Resource Negotiator）是Hadoop 2.x中的资源管理器，用于管理和分配Hadoop集群中的资源，并协调运行在集群上的应用程序。Zookeeper在YARN中用于协调和管理YARN的分布式服务，例如ResourceManager和NodeManager之间的通信以及应用程序的状态和元数据的管理。因此，Zookeeper是YARN的一个重要组成部分。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值