Hadoop系列
文章平均质量分 94
专栏旨在撰写一些hadoop生态相关技术的内容
清风画扇
这个作者很懒,什么都没留下…
展开
-
一文搞懂Kafka:女朋友看了也懂的Kafka
文章目录前言:为什么需要Kafka1.初识kafka1.1 消息队列的好处:1.2 **消息队列的两种模式**没有消息队列我们怎么做?传统MQ怎么做?这时候,Kafka就”闪亮登场“了2. Kafka基本架构2.1 **前备知识**:1.消息和批次2.消息模式2.2 架构分析2.3Kafka 特点1.多个生产者2.多个消费者3.基于磁盘的数据存储4.伸缩性5.高性能3 总结前言:为什么需要Kafka举个例子:麦当劳点餐时,当我们选择外带的时候,餐厅制作好餐之后会放在一个取餐台,而且取餐台是按照不同的取餐原创 2021-06-09 21:05:55 · 1592 阅读 · 4 评论 -
Hadoop系列番外篇之一文搞懂Hadoop RPC框架及细节实现(深度好文,纯干货)
网络通信模块是分布式系统中最底层的模块。它直接支撑了上层分布式环境下复杂的进程间通信(Inter-Process Communication, IPC)逻辑,是所有分布式系统的基础。远程过程调用(Remote Procedure Call, RPC)是一种常用的分布式网络通信协议。它允许运行于一台计算机的程序调用另一台计算机的子程序,同时将网络的通信细节隐藏起来,使得用户无须额外地为这个交互作用编程。原创 2021-05-29 09:07:44 · 475 阅读 · 1 评论 -
Hadoop深入浅出MapReduce详解(全网最细)
文章目录前言-MR概述1.Hadoop MapReduce设计思想及优缺点设计思想优点:缺点:2. Hadoop MapReduce核心思想3.MapReduce工作机制剖析MapReduce运行机制过程描述第一阶段:作业提交(图1-4步)第二阶段:作业初始化(图5-7步)第三阶段:任务的分配(图8)第四阶段:任务的执行(图9-11)第五阶段:作业完成Tips 知识点:进度和状态更新4.MR各组成部分工作机制原理4.1概览:4.2 MapTask工作机制4.3 ReduceTask工作机制4.4shuffl原创 2021-05-28 15:10:23 · 10884 阅读 · 2 评论 -
Hadoop从入门到精通第二篇之YARN基础架构剖析
详解Yarn1.Hadoop Yarn 目录组织结构YARN API(hadoop-yarn-api 目录):给出了 YARN 内部涉及的 4 个主要 RPC 协议的 Java 声明和 Protocol Buffers 定义,这 4 个 RPC 协议分别是 ApplicationClientProtocol、 ApplicationMasterProtocol、ContainerManagementProtocol 和 ResourceManagerAdmi nistrationProtocol。Y原创 2021-05-21 11:21:00 · 550 阅读 · 6 评论 -
Hadoop从入门到精通第一篇之HDFS详解——HDFS(分布式文件系统)到底是什么?
导航条例集群NameNode失效会发生什么?引入HDFS设计结论冷热启动怎么抉择?集群NameNode失效会发生什么?Hadoop作为大数据入门的基石内容,其中HDFS更是所有生态的地基,so,我们有必要更深入去理解HDFS,以及HDFS在高可用的演变过程。如果有小可爱说hadoop和HDFS有啥区别的。の。。。,那容我之后在做背书来说明,暖男行为的先提一下:目前我们所说的Hadoop更多是指Hadoop的生态,包括hadoop本身及其他组件,如flume、kafka、hive、Hbase等等,如下图所原创 2021-05-14 16:42:00 · 736 阅读 · 0 评论